视觉大模型 / VLM

From Internal Diagnosis to External Auditing: A VLM-Driven Paradigm for Data-Free Online Backdoor Defense

从内部诊断到外部审计：一种VLM驱动的数据自由在线后门防御范式

Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong, Hong Kong（香港中文大学） ； Sun Yat-sen University, China（中山大学） ； Zhejiang University, China（浙江大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 提出一种从内部诊断到外部语义审计的范式转变，利用通用视觉语言模型（VLM）作为外部语义门控，通过PRISM框架（原型精炼与统计监控检查）实现数据自由的在线后门防御，在17个数据集和11种攻击类型上达到最先进性能。

Comments 25 pages, 10 figures, 19 tables. To appear in the Proceedings of the 43 rd International Conference on Machine Learning (ICML '26)

A Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation

面向VLM-as-a-Judge评估的视障辅助基准

Yi Zhao, Siqi Wang, Zhe Hu, Yushi Li, Jing Li

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；分类 cs.CV

AI总结 针对视障辅助任务中VLM-as-a-Judge评估的可靠性问题，提出VIABLE基准（含30万+样本、有效性-公正性-稳定性框架及12种失败模式分类），发现现有模型不可靠，并开发VIA-Judge-Agent方法提升诊断准确性和用户偏好。

Capturing Gaze Shifts for Guidance: Cross-Modal Fusion Enhancement for VLM Hallucination Mitigation

捕捉注视转移以引导：跨模态融合增强用于VLM幻觉缓解

Zheng Qi, Chao Shang, Evangelia Spiliopoulou, Nikolaos Pappas

机构 * AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.CV

AI总结 提出GIFT方法，通过预计算视觉显著性图并跟踪注视转移，在解码时增强对显著视觉信息和用户查询的注意力，以缓解视觉语言模型中的幻觉问题。

Comments ICML 2026

YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models

YARD: Y型架构寄存器解码用于大型视觉语言模型中的高效幻觉缓解

Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

机构 * Guangdong University of Technology（广东工业大学） ； Nanyang Technological University（南洋理工大学） ； Shenzhen TENCLASS Technology Co., Ltd.（深圳TENCLASS科技有限公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出YARD框架，通过Y型架构共享浅层计算并在中间层分支，用寄存器令牌替换视觉令牌构建退化分支，实现无需训练的对比解码，有效缓解幻觉并降低推理延迟。

Comments 21 pages, 11 figures

Debate with Images: Detecting Deceptive Behaviors in Multimodal Large Language Models

图像辩论：检测多模态大语言模型中的欺骗行为

Sitong Fang, Shiyi Hou, Kaile Wang, Boyuan Chen, Donghai Hong, Jiayi Zhou, Josef Dai, Yaodong Yang, Jiaming Ji

机构 * Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本文提出 MM-DeceptionBench 基准和基于图像辩论的多智能体监控框架，系统揭示并量化多模态大语言模型中的欺骗风险，有效提升欺骗行为检测能力。

Comments 39 pages, 16 figures, camera ready version for ICML 2026

Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization

从细粒度视觉差异中学习：通过上下文视觉对比优化缓解多模态幻觉

Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * The Hong Kong University of Science（香港科学与技术大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出上下文视觉对比优化（IC-VCO）方法，通过共享多图像上下文中的对比图像确保数学严谨的目标，并引入视觉对比蒸馏（VCDist）和对比样本编辑策略，有效缓解多模态幻觉。

Comments ICML 2026

What Makes LVLMs Hallucinate Less? Unveiling the Architectural Factors Behind Hallucination Robustness

什么使LVLMs更少产生幻觉？揭示影响幻觉鲁棒性的架构因素

Yusheng He, Jizhe Zhou, Xia Du, Zheng Lin, Jun Luo, Jiancheng Lv

机构 * School of Computer Science, Engineering Research Center of Machine Learning and Industry Intelligence, Sichuan University（计算机科学学院，机器学习与产业智能工程研究中心，四川大学） ； School of Computer and Information Engineering, Xiamen University of Technology（计算机与信息工程学院，厦门理工大学） ； Department of Electrical and Computer Engineering, University of Hong Kong（电气与计算机工程系，香港大学） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过将架构设计分解为语言基础、视觉表示和语义对齐三个维度，并引入CoSimUE基准，系统探索了架构因素对LVLMs幻觉鲁棒性的影响，发现模型参数扩展效果有限，而增强视觉编码器、语言基础和语义对齐能分别减少不同类型的幻觉。

Advancing Creative Physical Intelligence in Large Multimodal Models

推进大型多模态模型中的创造性物理智能

Cheng Qian, Hyeonjeong Ha, Jiayu Liu, Jeonghwan Kim, Emre Can Acikgoz, Bingxuan Li, Kunlun Zhu, Jiateng Liu, Aditi Tiwari, Zhenhailong Wang, Xiusi Chen, Mahdi Namazifar, Heng Ji

机构 * UIUC（伊利诺伊大学香槟分校） ； Amazon（亚马逊） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 针对大型多模态模型在开放式环境中缺乏基于视觉的创造性工具使用能力的问题，提出MM-CreativityBench基准和基于偏好学习的具身对齐方法，显著提升实体选择并减少幻觉。

Comments 51 Pages, 9 Figures, 7 Tables, Previous Work CreativityBench: arXiv:2605.02910

Cross-Modal Attention Calibration for LVLM Hallucination Mitigation

跨模态注意力校准用于LVLM幻觉缓解

Jiaming Li, Jiacheng Zhang, Zequn Jie, Lin Ma, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； The University of Hong Kong（香港大学） ； Meituan（美团） ； Inspur Database Technology（Inspur数据库技术） ； Guilin University of Electronic Technology（桂林电子科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种无需训练的跨模态注意力校准方法，通过设计模态间解码和位置校准模块，缓解大型视觉语言模型中的幻觉问题。

Comments CVPR2026

When English Rewrites Local Knowledge: Global Narrative Dominance in Large Language Models

当英语重写地方知识：大语言模型中的全球叙事主导

Md Arid Hasan, Ruwad Naswan, Farhan Samir, Sharifa Sultana, Syed Ishtiaque Ahmed

机构 * University of Toronto（多伦多大学） ； BUET（巴特利特大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 本研究通过构建孟加拉语文化数据集CulturalNB，评估大语言模型在低资源文化背景下的跨语言知识一致性，发现英语提问会系统性地增加全球替代和制度框架，减少地方视角覆盖，表明文化失败不仅是知识缺失，更是根基和叙事优先级问题。

Comments Submitted to ARR