视觉大模型 / VLM

Aloe-Vision: Robust Vision-Language Models for Healthcare

Aloe-Vision: 面向医疗保健的鲁棒视觉-语言模型

Jaume Guasch-Martí, Enrique Lopez-Cuena, Martín Suárez-Fernández, Jordi Bayarri-Planas, Anna Arias-Duart, Dario Garcia-Gasulla

机构 * Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心（BSC）） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出Aloe-Vision系列医疗LVLM，通过大规模高质量多模态数据微调，在保持通用能力的同时提升医疗任务性能，并引入低污染基准CareQA-Vision，揭示当前模型在临床环境中的鲁棒性挑战。

Comments MIDL 2026

Journal ref Proceedings of Machine Learning Research, Vol. 315, pp. 2404-2426, 2026

Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling

面向多模态大语言模型的长视频快速有效理解：自适应准高斯采样

Kun Zhang, Chenxin Fang, Tao Chen, Baiyang Song, Yunhang Shen, Yiyi Zhou, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 提出自适应无训练帧采样方法AdaQ，基于高斯分布3-σ规则动态调整采样区间，在仅用64帧下使Qwen3-VL-8B平均超越GPT4o 15.8%，显著提升长视频理解的鲁棒性和效率。

Comments NeurIPS 2026 submission. 15 pages, 8 figures

CADRE: Stable, Parameter Efficient Adaptation of Medical Vision Language Models with Bounded Forgetting and Prior Drift

CADRE：具有有界遗忘和先验漂移的稳定、参数高效的医学视觉语言模型适应

Amrita Singh, Rishabh Jha

机构 * Mindriser's Consortium, Kathmandu, Nepal（Mindriser's 联盟，加德满都，尼泊尔） ； University of Victoria, BC, Canada（维多利亚大学，不列颠哥伦比亚省，加拿大） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.AI

AI总结 提出CADRE框架，通过结合低秩适应与弹性权重巩固及先验锚定惩罚，在仅训练0.23%参数下实现医学视觉语言模型的高精度、低遗忘和正向反向迁移，遗忘率降低约七倍。

Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

安全相关环境中的人类注视与视觉语言模型注意力的比较

Marta Vallejo, Siwen Wang

机构 * Heriot-Watt University（赫瑞-瓦特大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究通过眼动追踪实验和GPT-4o等视觉语言模型，比较了人类与模型在安全相关场景中的注意力分布，发现模型无需训练数据即可近似人类注视模式。

Comments 30 pages, 33 figures. Submitted as a preprint. Code and data available upon reasonable request

Intrinsic Gradient Suppression for Label-Noise Prompt Tuning in Vision-Language Models

视觉语言模型中标签噪声提示调优的内在梯度抑制

Jiayu Li, Jiaxin Qi, Sheng Zhou, Jiaqiang Huang, Xiansheng Hua

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出双Softmax提示调优（DSPT），通过内在梯度抑制机制自适应压制高错误噪声样本的梯度，实现标签噪声下的鲁棒提示调优。

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

ASRU：激活引导与强化遗忘融合用于多模态大语言模型

Jiahui Guang, Haiyan Wang, Yingjie Zhu, Cuiyun Gao, Jing Li, Di Shao, Zhaoquan Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 ASRU提出一种可控多模态遗忘框架，通过激活引导和强化学习提升多模态大语言模型的遗忘效果和生成质量，实验显示在Qwen3-VL上遗忘效果提升24.6%，生成质量提升5.8倍。

Debate with Images: Detecting Deceptive Behaviors in Multimodal Large Language Models

图像辩论：检测多模态大语言模型中的欺骗行为

Sitong Fang, Shiyi Hou, Kaile Wang, Boyuan Chen, Donghai Hong, Jiayi Zhou, Josef Dai, Yaodong Yang, Jiaming Ji

机构 * Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本文提出 MM-DeceptionBench 基准和基于图像辩论的多智能体监控框架，系统揭示并量化多模态大语言模型中的欺骗风险，有效提升欺骗行为检测能力。

Comments 39 pages, 16 figures, camera ready version for ICML 2026

Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance

超越文本：通过多模态双注意力和软图像引导减少大型视觉语言模型中的语言偏差

Haozhe Zhao, Shuzheng Si, Liang Chen, Yichi Zhang, Maosong Sun, Mingjia Zhang, Baobao Chang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型因语言偏差导致的幻觉问题，提出LACING框架，采用多模态双注意力机制和软图像引导策略，在不增加训练资源的情况下增强视觉理解并减少幻觉。

Comments EMNLP 2025

FedMPT: Federated Multi-label Prompt Tuning of Vision-Language Models

FedMPT: 视觉语言模型的多标签联邦提示调优

Xucong Wang, Pengkun Wang, Zhe Zhao, Liheng Yu, Shuang Wang, Yang Wang

机构 * University of Science and Technology of China（科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 针对联邦学习中多标签识别任务，提出FedMPT方法，利用因果模型的前门调整和大语言模型驱动的条件解耦，通过最优传输和门控机制抑制虚假标签关联，提升模型鲁棒性。

Comments 16 pages, including 11 pages of main text and 5 pages of appendix; Accepted by CVPR2026

Closed-Loop Bidirectional Prompting for Adversarial Robustness of Vision Language Models

闭环双向提示用于视觉语言模型的对抗鲁棒性

Xiao Liu, Jiaxiang Liu, Boci Peng, Boren Hu, Yusong Wang, Xiwen Chen, Prayag Tiwari, Liming Zhang, Mingkun Xu

机构 * University of Macau（澳门大学） ； Guangdong Institute of Intelligence Science and Technology（广东智能科学与技术研究院） ； Peking University（北京大学） ； Independent Researcher（独立研究员） ； Institute of Science Tokyo（东京科学研究院） ； Morgan Stanley（摩根大通） ； Halmstad University（哈马碧大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title,abstract)；分类 cs.CV

AI总结 针对视觉语言模型在对抗扰动下跨模态语义对齐脆弱的问题，提出闭环双向提示方法，通过动态反馈循环恢复跨模态一致性，并引入语义锚点约束循环更新，实现实例自适应保护，在11个数据集上达到最先进的鲁棒性和泛化性能。

Comments 24 pages, 8 figures

Mitigating Hallucinations in Large Vision-Language Models via Causal Route Gating

通过因果路由门控减轻大型视觉语言模型中的幻觉

Zhe Cheng, Wenyu Chen, Fode Zhang, Dehuan Shen

机构 * Center of Statistical Research, School of Statistics and Data Science, Southwestern University of Finance and Economics, Chengdu, China.（统计研究中心，统计与数据科学学院，西南财经大学，成都，中国） ； Department of Biomedical Engineering, College of Design and Engineering, National University of Singapore, Singapore（生物医学工程系，设计与工程学院，新加坡国立大学，新加坡） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型中因文本路径主导导致幻觉的问题，提出一种无训练、决策对齐的干预方法，通过分解注意力头为视觉和文本路由并抑制文本路由，有效减少幻觉错误。

Comments Accepted as a Spotlight Paper at ICML 2026. 33 pages, 8 figures

HalluCXR: Benchmarking and Mitigating Hallucinations in Medical Vision-Language Models for Chest Radiograph Interpretation

HalluCXR: 评估和缓解医疗视觉-语言模型在胸部X光解读中的幻觉

Haoyu Wang, Zitong Li

机构 * Department of Biostatistics & Health Informatics, Institute of Psychiatry, Psychology & Neuroscience, King’s College London（生物统计学与健康信息学系，精神病学、心理学与神经科学研究所，伦敦国王学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出HalluCXR基准，评估六种不同架构的视觉-语言模型在856例分层MIMIC-CXR胸部X光图像上的表现，发现61.9%-82.3%的输出存在幻觉，其中80.2%存在临床危险错误，通过引入幻觉分类学、检测管道和模型集成方法，提出了缓解幻觉的策略。

Towards Fine-Grained Robustness: Attention-Guided Test-Time Prompt Tuning for Vision-Language Models

迈向细粒度鲁棒性：面向视觉-语言模型的注意力引导测试时提示调优

Jia-Wei Hai, Yijun Wang, Xiu-Shen Wei

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications（新一代人工智能技术及其交叉应用重点实验室） ； Southeast University（东南大学） ； School of Intelligence Science and Engineering（智能科学与工程学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出了一种注意力引导的测试时提示调优方法（A-TPT），旨在解决视觉-语言模型在对抗攻击下的鲁棒性问题，通过改进的梯度注意力机制和空间变化的增强强度来提升模型在细粒度场景下的表现。

Comments Accepted by ICML 2026, Project Page: this https, URL Code URL: this https URL

EnsemHalDet: Robust VLM Hallucination Detection via Ensemble of Internal State Detectors

EnsemHalDet: 通过内部状态检测器的集成实现鲁棒的视觉语言模型幻觉检测

Ryuhei Miyazato, Shunsuke Kitada, Kei Harada

机构 * The University of Electro-Communications（电通大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出EnsemHalDet，一种通过集成多个内部表示的视觉语言模型幻觉检测框架，以提高多模态幻觉检测的鲁棒性。

TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models

TAME: 通过混合专家架构实现视觉语言模型的测试时对抗提示调优

Xin Wang, Yixu Wang, Jiaming Zhang, Ruofan Wang, Jiaqi Yu, Kai Chen, Jingjing Chen, Xingjun Ma, Yu-Gang Jiang

机构 * Fellow, IEEE（IEEE会士） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出TAME，一种基于混合专家架构的测试时防御方法，旨在提升视觉语言模型在对抗扰动下的鲁棒性，同时保持对清洁样本的泛化能力。

AGC: Adaptive Geodesic Correction for Adversarial Robustness on Vision-Language Models

AGC：面向视觉-语言模型对抗鲁棒性的自适应测地修正

Zhiwei Li, Jiacheng Xue, Weining Wang, Ajian Liu, Xingyu Gao, Zhenan Sun, Qi Li

机构 * NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所国家工程研究中心与人工智能院，中国科学院） ； School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出AGC，一种无需训练的防御机制，通过自适应步长修正输入特征，提升视觉-语言模型的对抗鲁棒性，实测在八个细粒度数据集上提升44.4%的鲁棒准确率，同时降低10倍推理延迟。

C-CoT: Counterfactual Chain-of-Thought with Vision-Language Models for Safe Autonomous Driving

C-CoT：基于视觉-语言模型的反事实链式推理用于安全自动驾驶

Kefei Tian, Yuansheng Lian, Kai Yang, Xiangdong Chen, Shen Li

机构 * College of Transportation, Tongji University（同济大学交通运输学院） ； Department of Civil Engineering, Tsinghua University（清华大学土木工程系） ； School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院） ； Department of Civil and Environmental Engineering, National University of Singapore（新加坡国立大学土木与环境工程系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出C-CoT框架，利用视觉-语言模型将驾驶决策分解为五个阶段，通过反事实推理提升自动驾驶在复杂环境中的安全性和鲁棒性。

H-POPE: Hierarchical Polling-based Probing Evaluation of Hallucinations in Large Vision-Language Models

H-POPE：基于分层轮询的大型视觉-语言模型幻觉评估

Nhi Pham, Michael Schott

机构 * Max Planck Institute for Informatics（马克斯·普朗克信息研究所） ； Saarland University（萨尔兰州大学） ； Zuse School（祖斯学校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV

AI总结 H-POPE通过文本和图像结合的方式评估大型视觉-语言模型的幻觉问题，发现模型在物体存在和细粒度属性上易出现幻觉，且依赖视觉输入生成文本。

Comments Poster at https://sites.google.com/berkeley.edu/bb-stat/home

GPO-V: Jailbreak Diffusion Vision Language Model by Global Probability Optimization

GPO-V：通过全局概率优化实现扩散视觉语言模型的突破

Yu Pan, Andi Zhang, Yi Wang, Sibei Yang, Wenjie Wang

机构 * ShanghaiTech University（上海科技大学） ； University of Warwick（沃里克大学） ； SUN YAT-SEN UNIVERSITY（中山大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出GPO-V，通过全局概率优化方法突破扩散视觉语言模型的安全防线，揭示了非顺序生成架构中的关键安全漏洞。

When Relations Break: Analyzing Relation Hallucination in Vision-Language Model Under Rotation and Noise

关系破裂：在旋转和噪声下的视觉语言模型关系幻觉分析

Philip Wootaek Shin, Ajay Narayanan Sridhar, Sivani Devarapalli, Rui Zhang, Jack Sampson, Vijaykrishnan Narayanan

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究探讨了旋转和噪声对视觉语言模型关系推理的影响，发现轻微扰动显著降低模型性能，提示需更鲁棒的几何感知模型。

Object Hallucination-Free Reinforcement Unlearning for Vision-Language Models

面向视觉语言模型的无对象幻觉强化反学习

Kaidi Jia, Yujie Lin, Chengyi Yang, Jiayao Ma, Jinsong Su

机构 * Xiamen University（厦门大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出HFRU框架，通过视觉编码器深度语义删除，结合对齐破坏与GRPO优化，实现高效反学习，减少对象幻觉，实验显示在目标识别和人脸识别任务中性能优异。

VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models

VisInject：破坏≠注入——对视觉-语言模型中通用对抗攻击的双维度评估

Pang Liu, Yingjie Lao

机构 * Department of Electrical and Computer Engineering, Tufts University（Tufts大学电气与计算机工程系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文通过双维度评估揭示视觉-语言模型中通用对抗攻击的脆弱性，发现攻击成功与精确注入存在显著差异，揭示了模型在微小扰动下的表现。

Lost in the Vibrations: Vision Language Models Fail the Dynamic Gauges Test

迷失在振动中：视觉语言模型在动态刻度测试中失败

Tairan Fu, Francisco Javier Santos-Martín, Javier Conde, Pedro Reviriego, Elena Merino-Gómez

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文评估了最新视觉语言模型在动态刻度测试中的表现，发现其在分析高频事件和指针振动方面存在不足，无法满足计量学和不确定性量化的要求。

When Background Matters: Breaking Medical Vision Language Models by Transferable Attack

背景的重要性：通过可转移攻击打破医疗视觉语言模型

Akash Ghosh, Subhadip Baidya, Sriparna Saha, Xiuying Chen

机构 * Indian Institute of Technology Patna（印度理工学院帕纳分校） ； Indian Institute of Technology Kanpur（印度理工学院坎普尔分校） ； MBZUAI（穆桑大学人工智能研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出MedFocusLeak攻击方法，通过在非诊断背景区域注入协调扰动并利用注意力分散机制，使模型产生看似合理但错误的诊断，揭示了现代临床VLMs推理能力的弱点。

Comments ACL Main 2026

GAMBIT: A Gamified Jailbreak Framework for Multimodal Large Language Models

GAMBIT：一种用于多模态大语言模型的游戏化突破框架

Xiangdong Hu, Yangyang Jiang, Qin Hu, Xiaojun Jia

机构 * Georgia State University（佐治亚州立大学） ； Shandong University（山东大学） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文提出GAMBIT框架，通过分解重组有害视觉语义并构建游戏化场景，使模型在探索和重建意图中主动完成突破，提升攻击成功率。

Comments Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026), Main Conference

MEBench: A Novel Benchmark for Understanding Mutual Exclusivity Bias in Vision-Language Models

MEBench：一种新的评估视觉-语言模型互斥偏差的基准

Anh Thai, Stefan Stojanov, Zixuan Huang, Bikram Boote, James M. Rehg

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 MEBench通过引入空间推理提升评估难度，评估视觉-语言模型对互斥偏差的处理能力，发现模型存在弱互斥偏差但能利用额外空间上下文解决歧义。

Hierarchical DLO Routing with Reinforcement Learning and In-Context Vision-language Models

基于强化学习和上下文视觉-语言模型的分层DLO路由

Mingen Li, Houjian Yu, Yixuan Huang, Youngjin Hong, Hantao Ye, Changhyun Choi

机构 * Department of Electrical and Computer Engineering, University of Minnesota（明尼苏达大学电气与计算机工程系） ； Princeton University（普林斯顿大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.LG

AI总结 本文提出了一种自主分层框架，利用视觉-语言模型进行上下文高层推理，结合强化学习训练的低层技能，解决长视距DLO路由任务，实现92%的成功率。

Comments 8 pages, 6 figures, 3 tables

Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

微调如你预训练：提升视觉语言模型零样本对抗鲁棒性

Songlong Xing, Weijie Wang, Zhengyu Zhao, Jindong Gu, Philip Torr, Nicu Sebe

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） ； Xi’an Jiaotong University（西安交通大学） ； University of Oxford（牛津大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出AdvFLYP方法，通过遵循CLIP预训练过程的训练配方，利用网络上收集的图像-文本对生成对抗样本，并通过对比损失匹配文本，提升视觉语言模型的零样本对抗鲁棒性。

Comments Accepted to CVPR Findings Track 2026

Benchmarking Vision-Language Models under Contradictory Virtual Content Attacks in Augmented Reality

在增强现实中评估视觉-语言模型在矛盾虚拟内容攻击下的基准测试

Yanming Xiu, Zhengyuan Jiang, Neil Zhenqiang Gong, Maria Gorlatova

机构 * Duke University（杜克大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出ContrAR基准，评估视觉-语言模型在增强现实中的鲁棒性，通过312个真实AR视频验证，测试11种VLMs，发现现有模型在检测对抗性内容操纵方面仍有改进空间。

Comments CVPR 2026 Findings

Seeing No Evil: Blinding Large Vision-Language Models to Safety Instructions via Adversarial Attention Hijacking

见善不为：通过对抗性注意力劫持使大视觉-语言模型失明以确保安全

Jingru Li, Wei Ren, Tianqing Zhu

机构 * China University of Geosciences, Wuhan（中国地质大学（武汉）） ； City University of Macau（澳门城市大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出Attention-Guided Visual Jailbreaking方法，通过操控注意力模式规避安全对齐机制，减少梯度冲突并提高攻击成功率，揭示了安全失明的失败模式。

Comments Accepted to ACL 2026. Code: https://github.com/Landsayy/AttentionJailbreak