多模态大模型 - arXivDaily 专题

2605.23482 2026-05-25 cs.CV cs.AI 89%

Multimodal Distribution Matching for Vision-Language Dataset Distillation

多模态分布匹配用于视觉-语言数据集蒸馏

Jongoh Jeong, Hoyong Kwon, Minseok Kim, Kuk-Jin Yoon

机构 * Visual Intelligence Lab., KAIST（韩国科学技术院视觉智能实验室）

专题命中图文多模态：multimodal(title,summary_cn)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结提出多模态分布匹配（MDM）框架，通过数据、模型和损失层面的几何感知组件，高效压缩视觉-语言数据集并保持跨模态对齐。

Comments Accepted for publication at CVPR 2026. Project Page: https://andyj1.github.io/mdm

2604.09349 2026-05-25 cs.CV cs.AI cs.CL 82%

视觉引导的多模态推理策略优化

Zengbin Wang, Feng Xiong, Liang Lin, Xuecai Hu, Yong Wang, Yanlin Wang, Man Zhang, Xiangxiang Chu

机构 * AMAP, Alibaba Group（阿里集团AMAP）； SYSU（南方科技大学）； BUPT（北京邮电大学）

专题命中图文多模态：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结针对视觉语言模型在推理中视觉关注不足和时序遗忘问题，提出视觉引导策略优化（VGPO）框架，通过视觉注意力补偿机制和双粒度优势重加权策略增强视觉聚焦，提升多模态推理性能。

2605.22902 2026-05-25 cs.LG cs.AI cs.CL 73%

Transcoders 追踪视觉语言模型中的视觉基础与幻觉

Dimitrios Damianos, Leon Voukoutis, Georgios Skyrianos, Vassilis Katsouros, Georgios Paraskevopoulos

机构 * Institute of Language and Speech Processing（语言与语音处理研究所）； Athena Research Center（雅典研究中心）

专题命中图文多模态：multimodal(abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结采用基于Transcoders的功能中心框架分解视觉语言模型的计算路径，揭示视觉输入如何影响文本生成，并通过反事实分析和图结构特征预测幻觉。

2605.23165 2026-05-25 cs.RO cs.AI cs.CL 62%

基于自主前沿探索与VLM引导

Aarush Aitha, Avideh Zakhor

机构 * EECS Department, University of California（加州大学EECS系）

专题命中图文多模态：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结提出利用视觉语言模型进行高层战略决策，替代几何启发式，通过多模态提示选择最优前沿，在模拟环境中将地图覆盖率提升高达24%。

Comments 8 pages, 10 figures, CVPR 2026: 2nd Workshop on 3D-LLM/VLA: Bridging Language, Vision and Action in 3D Environments

2605.19859 2026-05-25 cs.CV 57%

Eyes on VLM: 视觉语言模型中注视跟随与社会性注视预测的基准测试

Hengfei Wang, Anshul Gupta, Pierre Vuillecard, Jean-Marc Odobez

机构 * Idiap Research Institute（Idiap研究机构）

专题命中图文多模态：multimodal(abstract)；分类 cs.CV

AI总结提出EyeVLM评估框架，通过零样本和微调方式测试视觉语言模型在注视跟随（几何视觉处理）和社会性注视预测（社交推理）两个核心任务上的能力，发现当前VLM缺乏精确的注视理解能力。

Comments Under review