视觉大模型 / VLM

Risk Awareness Injection: Calibrating Vision-Language Models for Safety without Compromising Utility

风险感知注入：为安全校准视觉-语言模型而不牺牲实用性

Mengxuan Wang, Yuxin Chen, Gang Xu, Tao He, Hongjie Jiang, Ming Li

机构 * Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RAI框架，通过增强不安全信号恢复视觉-语言模型的安全识别能力，同时保持语义完整性，实验显示有效降低攻击成功率。

Enhancing the Safety of Medical Vision-Language Models by Synthetic Demonstrations

通过合成演示增强医疗视觉-语言模型的安全性

Zhiyu Xue, Reza Abbasi-Asl, Ramtin Pedarsani

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） ； UC San Francisco（加州大学旧金山分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种新的推理时防御策略，通过合成临床演示提升模型安全性，同时平衡安全与性能。

Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction

缓解大型视觉-语言模型中的纠缠引导以减少幻觉

Yuanhong Zhang, Zhaoyang Wang, Xin Zhang, Weizhan Zhang, Joey Tianyi Zhou

机构 * Ministry of Education Key Laboratory of Intelligent Networks and Network Security（教育部智能网络与网络安全重点实验室） ； Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research（前沿人工智能研究中心，高性能计算研究所，科技研究局） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MESA框架，通过可控的潜在空间干预减少视觉-语言模型中的幻觉，同时保持生成行为，实验表明其在多个模型家族中表现优于现有方法。

MM-MoralBench: A MultiModal Moral Evaluation Benchmark for Large Vision-Language Models

MM-MoralBench: 一种多模态道德评估基准用于大型视觉-语言模型

Bei Yan, Jie Zhang, Zhiyuan Chen, Shiguang Shan, Xilin Chen

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 为评估大型视觉-语言模型的道德对齐性，提出MM-MoralBench基准，通过多模态场景测试模型在六个道德基础上的判断与分类能力，揭示模型存在显著的道德偏见问题。

Comments Accepted by Pattern Recognition

VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model

VLBiasBench: 一个用于评估大视觉-语言模型偏见的综合性基准

Sibo Wang, Xiangkui Cao, Jie Zhang, Zheng Yuan, Shiguang Shan, Xilin Chen, Wen Gao

机构 * Key Laboratory of AI Safety of CAS, Institute of Computing Technology (ICT)（中国科学院人工智能安全重点实验室，计算技术研究所） ； University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； Peking University（北京大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLBiasBench，通过覆盖九种社会偏见类别和两个交叉偏见类别的大规模数据集，评估大视觉-语言模型的偏见问题，基于15种开源和两种闭源模型进行广泛评估，揭示模型中的偏见特征。

Comments Accepted By TPAMI

Focus Matters: Phase-Aware Suppression for Hallucination in Vision-Language Models

重点至关重要：面向视觉语言模型中幻觉的相位感知抑制

Sohyeon Kim, Sang Yeon Yoon, Kyeongbo Kong

机构 * Pusan National University（釜山大学） ； Pukyong National University（釜庆大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种轻量级干预方法，在视觉编码器的聚焦阶段选择性抑制低关注的token，通过单次前向传递统计信息和DPP保留多样视觉线索，减少幻觉的同时保持caption质量，且推理延迟低。

CDH-Bench: A Commonsense-Driven Hallucination Benchmark for Evaluating Visual Fidelity in Vision-Language Models

CDH-Bench：一种基于常识的幻觉基准，用于评估视觉语言模型中的视觉保真度

Kesheng Chen, Yamin Hu, Qi Zhou, Zhenqian Zhu, Wenjian Luo

机构 * Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies, Institute of Cyberspace Security, School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（广东省新型安全智能技术重点实验室，网络空间安全研究院，计算机科学与技术学院，哈尔滨工业大学（深圳）） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CDH-Bench基准，用于评估视觉语言模型在视觉证据与常识冲突时的视觉保真度，通过三种异常类型和两种QA任务，揭示模型在常识驱动下的幻觉问题。

Hallucination-aware intermediate representation edit in large vision-language models

具有幻觉意识的中间表示编辑在大视觉-语言模型中

Wei Suo, Hanzu Zhang, Lijun Zhang, Ji Ma, Peng Wang, Yanning Zhang

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种动态检测和消除幻觉表示的框架，通过最小额外计算成本在现有基准上实现最先进的性能，展示了高效且稳健的幻觉消除能力。

Domain-Invariant Prompt Learning for Vision-Language Models

领域不变提示学习用于视觉-语言模型

Arsham Gholamzadeh Khoee, Yinan Yu, Robert Feldt

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DiCoOp，通过对抗训练方法提升视觉-语言模型在不同领域中的泛化能力，有效解决领域偏移问题。

Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection

通过因果发现和双模态安全子空间投影诊断和修复视觉-语言模型中的不安全通道

Jinhu Fu, Yihang Lou, Qingyi Si, Shudong Zhang, Yan Bai, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Peking University（北京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CARE框架，通过因果分析和双模态安全子空间投影修复视觉-语言模型中的不安全通道，提升安全性而不影响多模态能力。

Comments Accepted by CVPR 2026 main conference

Contextual inference from single objects in Vision-Language models

从单个物体中推断上下文在视觉-语言模型中的研究

Martina G. Vilas, Timothy Schaumlöffel, Gemma Roig

机构 * Goethe University Frankfurt（法兰克福大学） ； The Hessian Center for AI（黑森州人工智能中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉-语言模型中单个物体推断场景上下文的能力，发现物体属性影响推断性能，且不同层次的推断存在解耦现象。

TreeTeaming: Autonomous Red-Teaming of Vision-Language Models via Hierarchical Strategy Exploration

TreeTeaming：通过分层策略探索实现视觉语言模型的自主红队测试

Chunxiao Li, Lijun Li, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 TreeTeaming通过动态演化策略探索方法，实现对视觉语言模型的自主红队测试，显著提升攻击成功率和策略多样性，同时降低攻击毒性。

Comments CVPR2026

Gaze-VLM:Bridging Gaze and VLMs through Attention Regularization for Egocentric Understanding

gaze-VLM：通过注意力正则化连接 gaze 与 VLMs 以实现 egocentric 理解

Anupam Pani, Yanchao Yang

机构 * HKU Musketeers Foundation Institute of Data Science, The University of Hong Kong（香港大学穆斯克特基金会数据科学研究所，香港大学） ； Department of Electrical and Electronic Engineering, The University of Hong Kong（电气电子工程系，香港大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出 gaze-regularized 框架，通过注意力正则化提升 VLMs 在细粒度未来事件预测和当前活动理解任务中的性能，实验表明在预测精度和鲁棒性上有显著提升。

Mitigating Object Hallucinations in Large Vision-Language Models via Attention Calibration

通过注意力校准缓解大视觉-语言模型中的物体幻觉

Younan Zhu, Linwei Tao, Minjing Dong, Chang Xu

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出动态注意力校准方法，通过对比学习动态强制位置不变性，有效缓解大视觉-语言模型中的物体幻觉问题，并在多个基准测试中取得最佳性能。

TTP: Test-Time Padding for Adversarial Detection and Robust Adaptation on Vision-Language Models

TTP: 视觉-语言模型上的对抗检测与鲁棒适应的测试时填充

Zhiwei Li, Yitian Pang, Weining Wang, Zhenan Sun, Qi Li

机构 * NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（神经网络与模式识别实验室及自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出TTP框架，通过测试时填充实现对抗检测与鲁棒适应，提升视觉-语言模型在对抗攻击下的鲁棒性而不影响清洁准确性。

Comments Accepted to the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

Hidden Clones: Exposing and Fixing Family Bias in Vision-Language Model Ensembles

隐藏克隆：揭示并修复视觉-语言模型集成中的家族偏见

Zacharie Bugaud

机构 * Astera Institute（Astera研究院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉-语言模型集成中同家族模型的关联误差问题，提出三种家族感知方法，通过层级家族投票、QualRCCV和学得候选评分，提升了集成性能并验证了方法的泛化能力。

Comments 15 pages, 6 figures, 11 tables

Mostly Text, Smart Visuals: Asymmetric Text-Visual Pruning for Large Vision-Language Models

大部分文本，智能视觉：不对称文本-视觉剪枝用于大型视觉-语言模型

Sijie Li, Biao Qian, Jungong Han

机构 * University of Sheffield, UK（英国谢菲尔德大学） ； Tsinghua University, China（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出不对称文本-视觉剪枝方法，通过解耦文本和视觉token的权重，发现文本路径需用文本token校准，视觉路径可实现50%稀疏率，验证了其在多模态基准上的优越性。

Comments CVPR 2026. Code available here: https://github.com/LezJ/ATV-Pruning

VisualLeakBench: Auditing the Fragility of Large Vision-Language Models against PII Leakage and Social Engineering

VisualLeakBench: 对大型视觉-语言模型在PII泄露和社会工程中的脆弱性进行审计

Youting Wang, Yuan Tang, Yitian Qian, Chen Zhao

机构 * Northeastern University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Boston University（波士顿大学） ； New York University（纽约大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VisualLeakBench，通过合成对抗图像评估LVLMs对OCR注入和PII泄露的鲁棒性，揭示了Claude~4在PII识别上的高风险及防御策略的模板依赖性。

IMPACT: Intelligent Motion Planning with Acceptable Contact Trajectories via Vision-Language Models

IMPACT: 通过视觉-语言模型实现可接受接触轨迹的智能运动规划

Yiyang Ling, Karan Owalekar, Oluwatobiloba Adesanya, Erdem Bıyık, Daniel Seita

机构 * Thomas Lord Department of Computer Science, Viterbi School of Engineering, University of Southern California（托马斯·劳德计算机科学系，维特里比工程学院，南加州大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 IMPACT通过视觉-语言模型实现高效的接触丰富运动规划，在杂乱环境中优于其他方法。

Measuring the Measurers: Quality Evaluation of Hallucination Benchmarks for Large Vision-Language Models

测量测量者：大型视觉-语言模型幻觉基准的品质评估

Bei Yan, Jie Zhang, Zheng Yuan, Shiguang Shan, Xilin Chen

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, and also with University of Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院，以及中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HQM框架评估幻觉基准质量，发现现有基准存在可靠性与有效性不足问题，并提出HQQ基准以提升评估效果，揭示LVLMs在幻觉问题上的严重缺陷。

Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models

动态多模态激活引导用于大型视觉-语言模型中的幻觉缓解

Jianghao Yin, Qin Chen, Kedi Chen, Jie Zhou, Xingjiao Wu, Liang He

机构 * East China Normal University（华东师范大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出动态多模态激活引导方法，通过构建语义真实性引导向量数据库，实现幻觉缓解，提升模型性能。

Comments Accepted by ICLR 2026

Replication Study: Federated Text-Driven Prompt Generation for Vision-Language Models

复制研究：用于视觉-语言模型的联邦文本驱动提示生成

Suraj Prasad, Anubha Pant

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本研究通过复制FedTPG方法，验证了文本驱动提示生成在联邦学习中提升泛化能力的效果，并展示了在不同视觉领域中的高性能表现。

Comments 6 pages, 2 figues

Language-Guided Invariance Probing of Vision-Language Models

语言引导的视觉-语言模型不变性探测

Jae Joong Lee

机构 * Department of Computer Science, Purdue University（普渡大学计算机科学系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LGIP基准，用于评估视觉-语言模型对语言扰动的鲁棒性，发现EVA02-CLIP和OpenCLIP表现优异，而SigLIP存在显著缺陷。

Comments Pattern Recognition Letters 2026

CARE Drive A Framework for Evaluating Reason-Responsiveness of Vision Language Models in Automated Driving

CARE Drive：一种用于评估视觉语言模型在自动驾驶中推理响应性的框架

Lucas Elbert Suryana, Farah Bierenga, Sanne van Buuren, Pepijn Kooij, Elsefien Tulleners, Federico Scari, Simeon Calvert, Bart van Arem, Arkady Zgonnikov

机构 * organization= Department of Transport \& Planning, Faculty of Civil Engineering ； Geosciences, Delft University of Technology ； organization= Department of Cognitive Robotics, Faculty of Mechanical Engineering, Delft University of Technology ； organization= Centre for Meaningful Human Control, Delft University of Technology ； organization= Faculty of Mechanical Engineering, Delft University of Technology , city= Delft , country= The Netherlands 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 CARE Drive提出了一种评估视觉语言模型在自动驾驶中推理响应性的框架，通过受控上下文变化比较基线和增强模型决策，验证人类原因对决策的影响。

Comments 21 pages, on submission to Transportation Research Part C

Post-hoc Probabilistic Vision-Language Models

事后概率视觉-语言模型

Anton Baumann, Rui Li, Marcus Klasson, Santeri Mentu, Shyamgopal Karthik, Zeynep Akata, Arno Solin, Martin Trapp

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出一种无需额外训练的VLMs事后不确定性估计方法，通过贝叶斯后验近似和余弦相似度不确定性量化，提升主动学习效率和预测可靠性。

Comments Published at ICLR 2026. Project page: https://aaltoml.github.io/BayesVLM/

IndicFairFace: Balanced Indian Face Dataset for Auditing and Mitigating Geographical Bias in Vision-Language Models

IndicFairFace: 用于审计和缓解视觉-语言模型中地理偏见的平衡印度面部数据集

Aarish Shah Mohsin, Mohammed Tayyab Ilyas Khan, Mohammad Nadeem, Shahab Saquib Sohail, Erik Cambria, Jiechao Gao

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 IndicFairFace是一个平衡的印度面部数据集，用于审计和缓解视觉-语言模型中的地理偏见，通过去偏方法减少偏见并保持检索准确性。

Unveiling the "Fairness Seesaw": Discovering and Mitigating Gender and Race Bias in Vision-Language Models

揭示'公平性之锯'：在视觉-语言模型中发现并缓解性别和种族偏见

Jian Lan, Udo Schlegel, Tanveer Hannan, Gengyuan Zhang, Haokun Chen, Thomas Seidl

机构 * LMU Munich（慕尼黑莱布尼茨大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RES-FAIR框架，通过调整隐藏状态缓解视觉-语言模型中的性别和种族偏见，提升响应公平性和置信度校准。

TruthPrInt: Mitigating Large Vision-Language Models Object Hallucination Via Latent Truthful-Guided Pre-Intervention

TruthPrInt: 通过潜在真实引导预干预缓解大视觉-语言模型对象幻觉

Jinhao Duan, Fei Kong, Hao Cheng, James Diffenderfer, Bhavya Kailkhura, Lichao Sun, Xiaofeng Zhu, Xiaoshuang Shi, Kaidi Xu

机构 * Drexel University（德雷塞尔大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； LLNL（劳伦斯利弗莫尔国家实验室） ； Lehigh University（莱斯大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 TruthPrInt通过学习真相方向并引导解码过程，有效缓解大视觉-语言模型中的对象幻觉问题。

Comments 15 pages, 9 figures, the first two authors contributed equally, Accepted by ICCV 2025

Fair Context Learning for Evidence-Balanced Test-Time Adaptation in Vision-Language Models

公平上下文学习用于证据平衡的测试时间适应在视觉-语言模型中

Sanggeon Yun, Ryozo Masukawa, SungHeon Jeong, Wenjun Huang, Hanning Chen, Mohsen Imani

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出公平上下文学习方法，通过解决共享证据偏差来提升视觉-语言模型在测试时间适应中的鲁棒性，有效校准文本嵌入并提高适应性能。

VEQ: Modality-Adaptive Quantization for MoE Vision-Language Models

VEQ: 适用于MoE视觉-语言模型的模态自适应量化

Guangshuo Qin, Zhiteng Li, Zheng Chen, Weihang Zhang, Linghe Kong, Yulun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 VEQ通过模态自适应量化方法提升MoE视觉-语言模型的压缩性能，实现更高的准确率和鲁棒性。