多模态大模型

Combining Masked Language Modeling and Cross-Modal Contrastive Learning for Prosody-Aware TTS

结合掩码语言建模与跨模态对比学习的语调感知语音合成

Kirill Borodin, Vasiliy Kudryavtsev, Maxim Maslov, Nikita Vasiliev, Mikhail Gorodnichev, Grach Mkrtchian

机构 * MTUCI（莫斯科电信与信息技术大学） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 eess.AS

AI总结 本文研究了基于扩散模型的语音合成中多阶段预训练对语调建模的影响，通过掩码语言建模与混合音素对比学习相结合，提升了生成质量与感知指标。

Comments This paper has been submitted to Interspeech 2026 for review

Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement

基于专家三元组一致性的多模态慢性伤口嵌入评估

Fabian Kabus, Julia Hindel, Jelena Bratulić, Meropi Karakioulaki, Ayush Gupta, Cristina Has, Thomas Brox, Abhinav Valada, Harald Binder

机构 * Institute of Medical Biometry and Statistics (IMBI), Medical Faculty and Medical Center, University of Freiburg（弗莱堡大学医学院与医学中心医学统计与生物统计研究所） ； Department of Computer Science, Faculty of Engineering, University of Freiburg（弗莱堡大学工程学院计算机科学系） ； Department of Dermatology, Medical Faculty and Medical Center, University of Freiburg（弗莱堡大学医学院与医学中心皮肤科） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出通过专家三元组比较评估嵌入空间，引入TriDerm框架整合图像、边界掩码和专家报告，融合视觉与文本模态提升专家一致性至73.5%。

Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization

通过链看穿：通过CoT压缩和对比偏好优化缓解多模态推理模型的幻觉

Hao Fang, Jinyu Li, Jiawei Kong, Tianqu Zhuang, Kuofeng Gao, Bin Chen, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出C3PO框架，通过CoT压缩和对比偏好优化缓解多模态推理模型的幻觉问题，通过过滤冗余思考 token 提升信号效率，并利用高质量反馈和定制诱导器增强对比学习效果。

MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model

MuCo：多轮对比学习用于多模态嵌入模型

Geonmo Gu, Byeongho Heo, Jaemyung Yu, Jaehui Hwang, Taekyung Kim, Sangmin Lee, HeeJae Jun, Yoohoon Kang, Sangdoo Yun, Dongyoon Han

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出MuCo，一种基于对话的多轮对比学习框架，通过多轮查询-目标对提升多模态嵌入模型的训练效率和表征一致性。

Comments CVPR 2026 camera-ready; 22 pages

Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models

偏差是子空间，而非坐标：视觉-语言模型中事后去偏的几何重思

Dachuan Zhao, Weiyue Li, Zhenda Shen, Yushu Qiu, Bowen Xu, Haoyu Chen, Yongchao Chen

机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出SPD框架，通过几何方法识别并去除线性可解码的偏子空间，提升视觉-语言模型的公平性与任务性能。

Comments Accepted at the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

One Pic is All it Takes: Poisoning Visual Document Retrieval Augmented Generation with a Single Image

一张图片足矣：通过单张图片对视觉文档检索增强生成进行污染攻击

Ezzeldin Shereen, Dan Ristea, Shae McFadden, Burak Hasircioglu, Vasilios Mavroudis, Chris Hicks

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University College London（伦敦大学学院） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文研究了视觉文档检索增强生成（VD-RAG）对污染攻击的脆弱性，通过单张恶意图片实现针对性和通用性攻击，展示了VD-RAG在目标和通用设置下的漏洞，但在黑盒攻击下表现出一定的鲁棒性。

Comments Published in Transactions on Machine Learning Research (03/2026)

Journal ref Transactions on Machine Learning Research (TMLR), 2026

Riemannian and Symplectic Geometry for Hierarchical Text-Driven Place Recognition

Riemannian和Symplectic几何用于层次化文本驱动的位置识别

Tianyi Shang, Zhenyu Li

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出SympLoc框架，通过多级对齐策略提升文本到点云定位的鲁棒性，实验显示在KITTI360Pose数据集上Top-1召回率提升19%。

Comments 9 pages