MLLM-Protector: Ensuring MLLM's Safety without Hurting Performance
专题命中 幻觉与鲁棒性 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV
AI 大模型
视觉大模型 / VLM
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
1. 幻觉与鲁棒性 2242 篇
Visual-RolePlay: Universal Jailbreak Attack on MultiModal Large Language Models via Role-playing Image Character
专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI
Demonstration of an Adversarial Attack Against a Multimodal Vision Language Model for Pathology Imaging
专题命中 幻觉与鲁棒性 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV
Envisioning MedCLIP: A Deep Dive into Explainability for Medical Vision-Language Models
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV
Hallucination Augmented Contrastive Learning for Multimodal Large Language Model
专题命中 幻觉与鲁棒性 ：multimodal large language model(title)；LLaVA(abstract)；MLLM(abstract)；分类 cs.CV
Mitigating Hallucination in Visual Language Models with Visual Supervision
专题命中 幻觉与鲁棒性 ：visual language model(title)；vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV
ChEF: A Comprehensive Evaluation Framework for Standardized Assessment of Multimodal Large Language Models
专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV
Comments 39 pages, 26 figures
Food-500 Cap: A Fine-Grained Food Caption Benchmark for Evaluating Vision-Language Models
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV
Comments Accepted at ACM Multimedia (ACMMM) 2023
KU-DMIS-MSRA at RadSum23: Pre-trained Vision-Language Model for Radiology Report Summarization
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI
Comments Published at BioNLP workshop @ ACL 2023
HoloCount: A Holistic Visual Counting Benchmark for MLLMs
HoloCount：用于多模态大语言模型的整体视觉计数基准
机构 * Meituan（美团）
专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对多模态大语言模型定量精度瓶颈及现有计数基准局限，引入HoloCount基准，从语义、分析计数和鲁棒性测试三方面评估模型，经对20多个模型详尽评估，揭示其性能差距，为多模态系统发展提供路线图。
Comments Technical report
EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards
EgoSafetyBench：用于评估具身VLM作为运行时安全卫士的诊断性自我中心视频基准
机构 * AIM Intelligence（AIM智能研究所） ； Seoul National University（首尔国立大学）
专题命中 幻觉与鲁棒性 ：VLM(title_cn,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出EgoSafetyBench，一个包含1200个机器人视角场景的自我中心视频基准，用于评估视觉语言模型在流式安全监控中的能力，通过情景和视觉通道两个轨道测试模型识别危险和应对误导性文本的鲁棒性。
CoMet: Context and Multiplicity Decomposition for Multimodal Uncertainty Estimation
CoMet：多模态不确定性估计的上下文与多样性分解
机构 * Princeton University（普林斯顿大学）
专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG
AI总结 提出CoMet方法，将多模态大模型的不确定性分解为上下文项和多样性项，通过轻量级后验模块高效估计，无需自回归生成或重复采样，在多个基准上优于现有方法。
Comments 33 pages, 13.3MB
Revealing Interpretable Failure Modes of VLMs
揭示视觉语言模型的可解释性故障模式
机构 * UIUC（伊利诺伊大学香槟分校） ； Kumo AI ； IIT Delhi（德里印度理工学院）
专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出REVELIO框架，通过系统性探索揭示VLMs在自动驾驶和室内机器人领域中的可解释性故障模式，发现模型在空间定位和安全威胁识别上的缺陷。
Overconfidence and Calibration in Medical VQA: Empirical Findings and Hallucination-Aware Mitigation
过度自信与校准在医学视觉问答中的研究：实证发现与幻觉意识缓解
机构 * Johns Hopkins University, School of Medicine（约翰霍普金斯大学医学院） ； Massachusetts Institute of Technology（麻省理工学院） ； Microsoft Healthcare & Life Sciences（微软医疗健康与生命科学）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；visual question answering(abstract)
AI总结 本文研究了医学VQA中VLMs的过度自信问题，发现校准方法如Platt缩放能有效提升校准精度，但无法提升预测区分度，提出幻觉意识校准方法以提高可靠性。
Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models
通过层间一致性聚合缓解大型视觉-语言模型中的幻觉
机构 * Peking University（北京大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； University of Electronic Science and Technology of China（电子科技大学） ； De Artificial Intelligence Lab（人工智能实验室）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 提出训练无关的解码方法DCLA，通过聚合前层表示构建动态语义参考并纠正语义偏差层，增强层间一致性，在多个LVLM和基准上显著降低幻觉。
Density Ridge Selective Prediction for LLM and VLM Hallucination Detection under Calibration Label Scarcity
密度脊选择性预测：校准标签稀缺下的大语言模型与视觉语言模型幻觉检测
机构 * Northeastern University Boston, United States（东北大学波士顿分校）
专题命中 幻觉与鲁棒性 ：VLM(title)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 针对校准标签稀缺时大语言模型和视觉语言模型的幻觉检测问题，提出基于核密度估计的密度脊方法，利用隐藏状态生成轨迹的六维运动特征图构建响应流形，通过到最近脊顶点的欧氏距离评分，在标签稀缺协议下AUROC提升5-20点。
Do Vision-Language Models See Dwarf Galaxies the Way We Do?
视觉语言模型是否像我们一样看待矮星系？
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)
AI总结 评估视觉语言模型在识别超暗矮星系候选体任务中的表现，发现零样本模型能复现人类整体校准，但在个体层面存在显著差异，且不确定性估计不可靠。
Comments 8 pages, 4 figures; Accepted at the Conference on Physics and AI at Stanford University (PAI 2026)
P$^2$-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization
P²-DPO：通过校准直接偏好优化在感知处理中锚定幻觉
机构 * Guangdong Provincial Key Laboratory of Computational AI Models and Cognitive Intelligence, School of Computer Science & Engineering, South China University of Technology（广东省计算人工智能模型与认知智能重点实验室，计算机科学与工程学院，华南理工大学） ； Pazhou Lab, Guangzhou, China（琶洲实验室，广州，中国） ； Engineering Research Center of the Ministry of Education on Health Intelligent Perception and Paralleled Digital-Human, Guangzhou, China（教育部健康智能感知与并行数字人工程研究中心，广州，中国）
专题命中 幻觉与鲁棒性 ：grounding(title)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 针对大型视觉语言模型中的幻觉问题，提出P²-DPO训练范式，通过模型自生成偏好对和校准损失，直接优化感知瓶颈和视觉鲁棒性，无需昂贵人工反馈。
Risk-aware Selective Prompting for Hallucination Mitigation in Large Vision-Language Models
风险感知的选择性提示用于大型视觉-语言模型中的幻觉缓解
机构 * Shanghai Jiao Tong University（上海交通大学） ； iFLYTEK ； Tsinghua University（清华大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；grounding(abstract)
AI总结 本文系统研究提示验证在大型视觉-语言模型中的风险，发现其效果依赖输入难度，并提出基于预生成不确定性信号的选择性提示方法RSP以平衡性能。
Comments 7 pages, 1 figures, submitted to ACL ARR 2026 May (EMNLP)
Mitigating Object Hallucinations in Vision-Language Models through Region-Aware Attention Recalibration
通过区域感知注意力重校准减轻视觉语言模型中的对象幻觉
机构 * Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）） ； China Telecom Digital Intelligence Technology Co, Ltd（中国电信数字智能技术有限公司） ； Shenyang Aerospace University（沈阳航空航天大学） ； Qilu Institute of Technology（齐鲁理工学院）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 提出一种无需训练的区域感知自适应加权机制，通过计算注意力头的稳健统计中点并利用跨头分歧动态调整干预预算，以连续惩罚调制抑制幻觉路径，有效纠正视觉语义错位，同时保持生成流畅性。
VIGNETTE: Socially Grounded Bias Evaluation for Vision-Language Models
VIGNETTE：面向视觉语言模型的社会性偏见评估
机构 * George Mason University（乔治·马歇尔大学） ； University of Washington（华盛顿大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)
AI总结 本文提出VIGNETTE基准，通过多方向问题回答框架评估视觉语言模型的偏见，揭示模型在身份识别中的刻板印象和歧视性模式。
Comments Accepted to ACL 2026
Hierarchically Robust Zero-shot Vision-language Models
层次化鲁棒零样本视觉-语言模型
机构 * Nanyang Technological University（南洋理工大学） ； CFAR, IHPC, A*STAR（CFAR、IHPC、A*STAR） ； Northwest Polytechnical University（西北工业大学） ； Data61 CSIRO ； University of New South Wales（新南威尔士大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出基于层次嵌入的鲁棒微调框架，提升视觉-语言模型对对抗攻击的鲁棒性，通过多级对抗对齐和层次嵌入深度控制，增强模型泛化能力与语义多样性。
Comments This paper is accepted by CVPR'26
Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models
偏差是子空间，而非坐标：视觉-语言模型中事后去偏的几何重思
机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出SPD框架，通过几何方法识别并去除线性可解码的偏子空间，提升视觉-语言模型的公平性与任务性能。
Comments Accepted at the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
AGFT：基于对齐的微调以提升视觉-语言模型的零样本对抗鲁棒性
机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute, Shenzhen, China（深圳市环域研究所）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出AGFT框架，通过概率预测进行文本引导对抗训练，提升视觉-语言模型的零样本对抗鲁棒性，同时保持跨模态语义结构。
Comments Accepted by CVPR 2026; Code is available at \url{https://github.com/YuboCui/AGFT}
Assessing Vision-Language Models for Perception in Autonomous Underwater Robotic Software
评估用于自主水下机器人软件中的视觉-语言模型感知能力
机构 * Simula Research Laboratory（Simula研究实验室） ； Oslo Metropolitan University（奥斯陆城市大学） ； Mondragon University（蒙德拉贡大学） ； National Institute of Informatics（国立信息学研究所） ； Det norske Veritas (DNV)（挪威船级社（DNV））
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)
AI总结 本文评估了视觉-语言模型在自主水下机器人软件中的感知性能，通过计算性能和不确定性来指导软件工程师选择合适的模型。
Comments 16 pages, 5 figures
Swim2Real: VLM-Guided System Identification for Sim-to-Real Transfer
Swim2Real: 基于视觉-语言模型的系统辨识用于仿真到现实迁移
机构 * University of Warsaw（华沙大学） ； IDEAS NCBR ； EPFL（瑞士联邦理工学院） ； ETH Zurich（苏黎世联邦理工学院） ； Nomagic
专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)
AI总结 本文提出Swim2Real系统，利用视觉-语言模型反馈校准水下仿真实验室，无需手动设计搜索阶段。通过同时校准16个参数，显著提升仿真到现实的迁移效果，实现零样本强化学习迁移。
SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues
SAVeS: 通过语义线索引导视觉-语言模型中的安全判断
机构 * King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学科学与技术学院） ； Technical University of Munich（慕尼黑技术大学）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 研究通过语义线索引导视觉-语言模型的安全判断，提出SAVeS基准和评估协议，验证安全决策对语义线索的敏感性，揭示模型对视觉-语言关联的依赖及潜在安全漏洞。
SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models
SEM：用于视觉-语言模型后验去偏的稀疏嵌入调制
机构 * University of Trento（特伦托大学） ； Toyota Motor Europe（丰田欧洲公司） ； Fondazione Bruno Kessler（布鲁诺·凯瑟尔基金会）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出SEM框架，通过稀疏自编码器空间调制嵌入，实现视觉-语言模型的后验去偏，提升检索和零样本分类的公平性。
Comments CVPR Findings 2026. Project website: https://sparse-embedding-modulation.github.io/
Causal Decoding for Hallucination-Resistant Multimodal Large Language Models
因果解码用于抗幻觉的多模态大语言模型
机构 * Rutgers University（新泽西罗格斯大学） ； Meta Ranking AI（Meta 排名人工智能）
专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出因果解码框架，通过针对性干预减少多模态大语言模型中的物体幻觉，提升响应的准确性和忠实度。
Comments Published in Transactions on Machine Learning Research (TMLR), 2026
Cross-Cultural Expert-Level Art Critique Evaluation with Vision-Language Models
跨文化专家级艺术批评评估与视觉-语言模型
机构 * DJCAD, University of Dundee, United Kingdom（邓迪大学DJCAD研究中心，英国） ； Hebei Academy of Fine Art, China（河北美术院，中国） ； Computer Science, Nanjing University, China（南京大学计算机科学系，中国） ； Department of Mechanical Engineering, School of Engineering, University of Birmingham（伯明翰大学工程学院机械工程系）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)
AI总结 本文提出了一种跨文化评估框架，用于评估视觉-语言模型在艺术批评中的文化理解能力，揭示了自动化指标与专家评分的差异及文化敏感性问题。
Comments 16 pages, 7 figures, submitted to ACL 2026
