视觉大模型 / VLM

Visual Attention Drifts,but Anchors Hold:Mitigating Hallucination in Multimodal Large Language Models via Cross-Layer Visual Anchors

视觉注意力漂移，但锚点仍有效：通过跨层视觉锚点缓解多模态大语言模型的幻觉

Chengxu Yang, Jingling Yuan, Chuang Hu, Jiawei Jiang

机构 * School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文提出CLVA方法，通过跨层视觉锚点缓解多模态大语言模型的幻觉问题，强调中间层视觉锚点的重要性，无需额外训练，有效抑制深度层注意力漂移。

Mechanistically Interpreting Compression in Vision-Language Models

视觉语言模型压缩的机理解释

Veeraraju Elluru, Arth Singh, Roberto Aguero, Ajay Agarwal, Debojyoti Das, Hreetam Paul

机构 * Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校） ； AIM Intelligence ； National Institute of Technology Agartala（国立阿加尔塔拉理工学院） ； Fordham University（福特汉姆大学） ； University of Fukui（福井大学） ； Independent Researcher（独立研究员） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文通过因果电路分析和交叉编码器特征比较，研究了剪枝和量化对视觉语言模型内部结构的影响，并提出VLMSafe-420基准测试，揭示压缩对安全行为的影响。

Comments 15 pages, 7 figures, 12 tables

Get RICH or Die Scaling: Profitably Trading Inference Compute for Robustness

获取鲁棒性或死亡扩展：通过推理计算获利地进行鲁棒性交易

Tavish McDonald, Bo Lei, Stanislav Fort, Bhavya Kailkhura, Brian Bartoldson

机构 * Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Independent Researcher（独立研究者） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；InternVL(abstract)；分类 cs.LG

AI总结 研究探讨了推理计算与模型鲁棒性之间的关系，发现初始鲁棒性足以使模型遵循指令时，推理计算能提升对抗鲁棒性，通过强化视觉编码器可进一步增强模型的鲁棒性。

Comments 23 pages

Journal ref ICLR 2026

Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

多模态大语言模型中的人口公平性：面部验证中性别和种族偏见的基准测试

Ünsal Öztürk, Hatef Otroshi Shahreza, Sébastien Marcel

机构 * Idiap Research Institute（Idiap 研究所） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文评估了九种开源多模态大语言模型在面部验证协议中的表现，揭示了不同种族和性别群体间的偏见差异，发现专用面部模型在性能和公平性上均优于通用模型。

Comments Accepted in CVPR 2026 workshops

Seeing to Ground: Visual Attention for Hallucination-Resilient MDLLMs

视觉注意：用于抗幻觉的MDLLMs

Vishal Narnaware, Animesh Gupta, Kevin Zhai, Zhenyi Wang, Mubarak Shah

机构 * Institute of Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出VISAGE框架，通过校准解码器目标来减少多模态幻觉，通过空间熵分析提升视觉基础性。

RobustVisRAG: Causality-Aware Vision-Based Retrieval-Augmented Generation under Visual Degradations

RobustVisRAG: 基于因果性的视觉增强检索增强生成方法在视觉退化下的鲁棒性

I-Hsiang Chen, Yu-Wei Liu, Tse-Yu Wu, Yu-Chien Chiang, Jen-Chien Yang, Wei-Ting Chen

机构 * National Taiwan University（国立台湾大学） ； Microsoft（微软） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出RobustVisRAG，通过双路径框架分离语义与退化因素，提升在视觉退化下的检索生成性能，实验显示在真实退化条件下性能提升显著。

Comments Accepted by CVPR2026; Project Page: https://robustvisrag.github.io

From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

从权重到概念：通过奇异向量分解实现CLIP的数据无关可解释性

Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

机构 * University of Trento（特伦托大学） ； University of Pisa（比萨大学） ； Fondazione Bruno Kessler（布鲁诺·凯撒基金会） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出SITH框架，通过奇异向量分解分析CLIP视觉Transformer的权重空间，利用COMP算法实现细粒度概念解释，提升模型可解释性和下游性能。

Comments Accepted @ CVPR 2026. Project page: https://frangente.github.io/SITH/