视觉大模型 / VLM

Multimodal Reward Hacking in Reinforcement Learning

强化学习中的多模态奖励黑客攻击

Jiayu Yao, Yiwei Wang, Anmeng Zhang, Zhe Sun, Songsong Wang, Lingrui Mei, Yuyao Ge, Shenghua Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） ； Southeast University（东南大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；VLM(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 研究强化学习中多模态奖励黑客攻击问题，通过引入新奖励失败率（NRFR）等方法，在多种设置下改变模型规模、算法等因素进行实验，发现仅结果奖励易导致黑客攻击，扩大规模可减少但不能消除，还得出不同算法和奖励方式对黑客攻击的影响及相关结论。

AutoMine Solution for AV2 2026 Scenario Mining Challenge

AutoMine 解决方案：面向 AV2 2026 场景挖掘挑战

Songliang Cao, Jiele Zhao, Yuru Wang, Hao Li, Daqi Liu, Zehan Zhang, Fangzhen Li, Yu Wang, Yue Zhang, Bing Wang, Guang Chen, Hao Lu, Hangjun Ye

机构 * Xiaomi EV（小米汽车） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出基于 LLM 和 VLM 的自优化场景挖掘方法 AutoMine，通过语义保持提示增强、鲁棒轨迹原子函数与 VLM 函数结合以及执行反馈优化，在 CVPR 2026 挑战赛中取得领先性能。

Comments CVPR 2026 Scenario Mining Challenge (Temporal Track Winners)

Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees

自信记忆：具有概率保证的时空记忆不确定性量化

Harry Zhang, Nicolas Gorlo, Luca Carlone

机构 * MIT（麻省理工学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；分类 cs.CV

AI总结 针对机器人长期操作中VLM描述噪声大、视角不一致的问题，提出目标级语义不确定性评分，并集成到UQ-DAAAM系统中，通过主动选择高质量视图和融合多视角描述来降低不确定性，同时提供概率保证。

Can Urban Blight Be Accessed with Vision-language Models: A Case Study in Detroit

能否用视觉-语言模型评估城市衰败：以底特律为例

Xiaohao Yang, Aohua Tian, Derek Van Berkel, Xu Qiang, Mark Lindquist

机构 * School for Environment and Sustainability（环境与可持续发展学院） ； School of Information（信息学院） ； University of Michigan（密歇根大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究以底特律为案例，提出基于开源大视觉-语言模型的多视角住宅衰败评估框架，经实验验证该框架可低成本跟踪住房状况，为传统调查提供补充。

Comments 19 pages, 11 figures

TCLA: Training-Free Class-wise Logit Adaptation for Medical Vision-Language Models

TCLA：用于医学视觉语言模型的无训练类级对数几率适应

Tianyou Jiang, Ziyu Zhou

机构 * University of Bern（伯尔尼大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对医学视觉语言模型在分布外数据上有效性下降问题，提出无训练的少样本适应方法TCLA。该方法基于支持样本校正推理对数几率，提升模型性能，实验表明其能持续提高模型OOD性能且多数情况下优于现有训练方法。

Robustifying Vision-Language Models via Test-Time Prompt Adaptation

通过测试时提示自适应增强视觉语言模型的鲁棒性

Xingyu Zhu, Huanshen Wu, Shuo Wang, Beier Zhu, Jiannan Ge, Jiaheng Zhang, Long Chen

机构 * University of Science（科学大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science（香港科学大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 研究针对对抗扰动下视觉语言模型性能下降问题，提出RITA框架，通过最优传输实现分布级对齐，引入动态缓存积累线索，提升了模型对抗鲁棒性且不损干净准确率。

Comments ICML 2026 regular

Deceptive Grounding: Entity Attribution Failure in Clinical Retrieval-Augmented Generation

欺骗性基础：临床检索增强生成中的实体归因失败

Cedric Caruzzo, Donggeun Yoo, Tae Soo Kim

机构 * Lunit（鲁尼特） 纠错

专题命中 幻觉与鲁棒性 ：grounding(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究临床检索增强生成中的欺骗性基础问题，通过对13个模型测试发现DG率8%-87%，医学等微调模型高达86.7%。控制消融确定机制，实体归因验证可检测DG，现有框架未实施，为该领域研究提供新视角和方法。

Comments 24 pages, 7 figures, 12 tables

On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces

基于中间谱子空间视角的视觉语言模型对抗脆弱性研究

Chethan Krishnamurthy Ramanaik, Tobias Callies, Michael Hecht, Eirini Ntoutsi

机构 * University of the Bundeswehr Munich（慕尼黑联邦国防军大学） ； University of Wrocław（弗罗茨瓦夫大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究基于Transformer的视觉语言模型对抗脆弱性，提出白盒谱子空间引导攻击（SSGRA），通过将中间表示与特定子空间对齐来攻击，实验显示其比现有基线更有效，还为模型对抗脆弱性提供谱解释，助力提升鲁棒性。

Brand-as-Memory: Vision-Language Models Encode Causal, Mechanistically Localizable Credibility Priors for News Sources

品牌即记忆：视觉语言模型为新闻来源编码因果性、可机制定位的可信度先验

Chih-Ting Liao, Xin Cao

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言模型中基于媒体身份的来源可信度先验，通过交叉模型基准测试和机制分析，揭示其特性及影响，如模型和规模依赖性、因果形成机制等。

Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models

标准条件上下文学习：评估视觉语言模型中的标准转移适应性

Kaiyun Yang, Ruilin Yang, Zhimin Yao, J. Wang, Wei Ge

机构 * Megvii Technology Inc., Beijing, China（美科科技有限公司，北京，中国） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究提出标准条件上下文学习（CC-ICL）新设置，模型需从上下文推断潜在标准并据此调整预测。为此提出两个评估指标，构建CC-Bench基准。实验发现多数模型有边界偏差，简单多标准训练可改善。

Comments Accepted by ICML 2026

SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

SS-TPT：面向对抗鲁棒视觉语言模型的稳定性和适用性引导的测试时提示微调

Sunoh Kim, Daeho Um

机构 * Dankook University, Yongin, South Korea（首尔大学，韩国永兴） ； University of Seoul, Seoul, South Korea（首尔大学，韩国首尔） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出SS-TPT方法，通过稳定性与适用性分数评估增强视图质量，引导测试时提示微调，在保持高吞吐量的同时显著提升对抗鲁棒性。

Comments Accepted in ICML2026

How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures

视觉语言模型（VLMs）在失明或被误导时的表现如何？针对科学图表的VLMs行为评估

Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

机构 * University of Aberdeen（阿伯丁大学） ； International Institute of Information Technology Hyderabad（海德拉巴国际信息技术学院） ； University of Technology Nuremberg（纽伦堡工业大学） ； University of Southern California（南加利福尼亚大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究构建科学图表理解基准SciFigBench，提出A-R-I框架评估VLMs在视觉证据缺失或误导时的行为可靠性，发现高感知与推理准确性不代表行为可靠，不同模型表现存在显著差异。

Comments 25 pages including appendix. Project website: https://scifigbench.nlp4sci.com

Harnessing Textual Refusal Directions for Multimodal Safety

利用文本拒绝方向实现多模态安全

Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

机构 * University of Trento（特伦托大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出MARS方法，通过从LLM骨干提取的文本拒绝方向泛化到多模态，无需多模态安全数据即可提升安全性，在五个先进MLLM上验证了有效性。

Comments Preprint

Beyond Templates: Revisiting Zero-Shot Remote Sensing through Meta-Prompting

超越模板：通过元提示重新审视零样本遥感

Eirini Baltzi, Dionysis Christopoulos, Sotiris Spanos, Valsamis Ntouskos, Konstantinos Karantzalos

机构 * Remote Sensing Lab, National Technical University of Athens（遥感实验室，国家技术大学雅典分校） ； Remote Sensing Lab, Department of Engineering and Sciences, National Technical University of Athens（遥感实验室，工程与科学系，国家技术大学雅典分校） ； Universitas Mercatorum（默卡托大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究通过元提示框架（MPVR）在17种视觉语言模型和12个遥感数据集上探索零样本性能，发现语义丰富的LLM生成描述可能引入噪声，而轻量级查询嵌入校准能稳定提升分类和检索性能。

When Prompts Mislead: Textual Dominance and Diagnostic Bias in MLLMs

当提示误导：多模态大语言模型中的文本主导与诊断偏差

Inhyuk Park, Doohyun Park

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)

AI总结 研究揭示在医学多模态大语言模型中，文本提示会主导视觉线索，导致诊断偏差，即使模型具备空间定位能力，提示策略仍可能不安全。

Comments Accepted to the CVPR 2026 MMFM-BIOMED Workshop

Uncertainty-Aware Intention Prediction for Human-to-Robot Assembly Teleoperation

面向人机装配遥操作的不确定性感知意图预测

Fnu Heman, Yixuan Wang, Kolin Xu, Conner Wallace, John Dang, Akhil Joshi, Jun Sheng, Pinhas Ben-Tzvi, Mingyu Cai

机构 * University of California, Riverside（加州大学河滨分校） ； University of Miami（迈阿密大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)

AI总结 提出结合层次迁移学习、共形预测和VLM引导校正的不确定性感知意图预测框架，利用人类演示数据预训练，仅用少量机器人数据即提升动作分割性能。

Comments 7 pages, 6 figures. Preprint version

On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos

手术内窥镜视频的时间视觉语言模型的鲁棒性研究

Darakshan Rashid, Raza Imam, Ufaq Khan, Muhammad Bilal, Shazad Ashraf, Dwarikanath Mahapatra, Mohammad Yaqub, Muhammad Haris Khan, Imran Razzak, Brejesh Lall, Lena Maier-Hein, Yutong Xie

机构 * Indian Institute of Technology Delhi（印度理工学院德里分校） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； Birmingham City University（伯明翰城市大学） ； University Hospitals Birmingham（伯明翰大学医院） ； Khalifa University（哈利法大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 该研究针对手术内窥镜视频的时间视觉语言模型，构建Endo-C6基准测试其鲁棒性，提出RobustEndoCLIP，可提升模型在内窥镜损坏下的性能与鲁棒性。

Comments Accepted to MICCAI 2026

Test-Time Hallucination Control in Large Vision-Language Models

大型视觉语言模型的测试时幻觉控制

Mehran Tamjidi, Hamidreza Dastmalchi, Ali Cheraghian, Mohammadreza Alimoradijazi, Aijun An, Hossein Rahmani

机构 * Australian National University（澳大利亚国立大学） ； The University of New South Wales（新南威尔士大学） ； University of Technology Sydney（悉尼科技大学） ； York University（约克大学） ； Lancaster University（兰卡斯特大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型的物体幻觉问题，提出无训练的测试时幻觉缓解（TTH）方法，通过令牌验证器模块等技术提升模型准确性与稳健性，通用性和实用性良好。

Comments Accepted at ECCV 2026 MUCG

PRMU: A Corpus-Free Benchmark for Person-Centric Knowledge Unlearning in Multimodal Large Language Models

PRMU：面向多模态大语言模型中以人为中心的知识遗忘的无语料基准

Huafeng Chen, Yueming Lyu, Ziyuan Chen, Wenda Tan, Chenyang Si, Liucheng Guo, Caifeng Shan

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 针对现有多模态大语言模型（MLLMs）遗忘方法依赖语料的局限，提出无语料基准PRMU及基线SGPE，实验显示SGPE在目标遗忘、局部性保留等方面权衡更优。

Respect Your Zero-Shot Uncertainty: Conservative Calibration for Test-Time-Adapted Vision-Language Models

重视零样本不确定性：面向测试时自适应视觉-语言模型的保守校准

Jingyan Jiang, Yaru Sun, Xiao Chen, Jiazhen Huang, Caiting Li, Zhijian He, Yin Chen, Pingting Hao

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对测试时自适应（TTA）视觉-语言模型校准度下降的问题，提出零样本锚定熵校准（ZAEC）方法，通过最小温度缩放恢复锐化预测的零样本熵，在多模型多数据集上实现了更低的期望校准误差（ECE）。

Local Margin Restoration for Test-Time Adaptation of Vision-Language Models

用于视觉-语言模型测试时适应的局部间隔恢复

Yan Huang, Guowei Wang, Xu Wang, Kangjun Liu, Xin Lin

机构 * Guangzhou University（广州大学） ； The Second Affiliated Hospital of Guangzhou University of Chinese Medicine（广州中医药大学第二附属医院） ； Jinan University（暨南大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对视觉-语言模型测试时分布偏移导致的性能下降问题，提出局部间隔恢复框架，通过样本级受保护间隔恢复与流级双阶段稳定机制，在多数据集上实现优于现有基线的性能。

Comments Accepted by ACM MM 2026

Scaling Vision-Language Models Is Not Enough to Mitigate Bias

扩大视觉-语言模型规模不足以缓解偏见

Ioannis Sarridis, Ioannis Kompatsiaris, Symeon Papadopoulos

机构 * Information Technologies Institute, CERTH（CERTH信息技术研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 该研究通过对194个视觉-语言模型的大规模实证分析，发现扩大模型规模无法缓解偏见，训练数据属性对偏见鲁棒性更关键，架构选择效果依赖基准特性。

Unifying Adversarially Robust Model Experts in Vision-Language Models

统一视觉-语言模型中的对抗鲁棒模型专家

Nguyen Duc Thai, Junhao Dong, Sua Qi Rong, Hua Yu, Yew-Soon Ong

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Center for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对视觉-语言模型对抗鲁棒性不足问题，提出CARE框架，通过维护并协同微调多个鲁棒模型专家，实现知识融合，在多任务上性能优于单独训练的专家。

GeoThreat: Transferable Targeted Adversarial Attacks on Large Vision-Language Models for Remote Sensing Image Interpretation

GeoThreat：用于遥感图像解释的大型视觉语言模型的可转移目标对抗攻击

Yimin Fu, Yuefeng Bai, Baicheng Pan, Zhunga Liu, Michael K. Ng

机构 * Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系） ； School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究针对大型视觉语言模型在遥感图像解释中的对抗攻击问题，提出GeoThreat方法，通过在概念和感知层面调制对抗表示，结合对抗目标相似性梯度等技术，实现可转移目标对抗攻击，实验证明该方法在可转移性和可控性上具有优越性。

Comments The code will be released at https://github.com/fuyimin96/GeoThreat upon acceptance

Test-Time Training for Modality Order Consistency in Vision-Language Models

视觉语言模型中模态顺序一致性的测试时训练

Aditi Gupta, Yossi Gandelsman

机构 * University of Chicago（芝加哥大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究发现视觉语言模型对图像和问题呈现顺序敏感，利用此设计测试时训练方法，缩小模态顺序差距，使两种顺序相互一致，定位顺序失败区域，证明该方法可缓解故障并提升性能。

Comments 16 pages, 7 figures, preprint

Imperceptible and Reversible Adversarial Examples against Vision-Language Models for Privacy Protection

用于隐私保护的针对视觉语言模型的不可察觉且可逆的对抗性示例

Qi Lu, Ziqi Zhou, Yufei Song, Zijing Li, Lulu Xue, Minghui Li, Shengshan Hu, Leo Yu Zhang

机构 * School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院） ； College of Computer Science, Chongqing University（重庆大学计算机科学学院） ； School of Software and engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型基于文本的隐私攻击问题，提出CloakDiff框架，结合扩散对抗编辑与可逆网络生成不可察觉的对抗性示例，设计EDM启发式采样提高保真度，实验证明该框架能实现多模态隐私保护且具高视觉质量和可逆性。

Comments Accepted by ACM MM 2026

Aloe-Vision: Robust Vision-Language Models for Healthcare

Aloe-Vision: 面向医疗保健的鲁棒视觉-语言模型

Jaume Guasch-Martí, Enrique Lopez-Cuena, Martín Suárez-Fernández, Jordi Bayarri-Planas, Anna Arias-Duart, Dario Garcia-Gasulla

机构 * Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心（BSC）） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出Aloe-Vision系列医疗LVLM，通过大规模高质量多模态数据微调，在保持通用能力的同时提升医疗任务性能，并引入低污染基准CareQA-Vision，揭示当前模型在临床环境中的鲁棒性挑战。

Comments MIDL 2026

Journal ref Proceedings of Machine Learning Research, Vol. 315, pp. 2404-2426, 2026

Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling

面向多模态大语言模型的长视频快速有效理解：自适应准高斯采样

Kun Zhang, Chenxin Fang, Tao Chen, Baiyang Song, Yunhang Shen, Yiyi Zhou, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 提出自适应无训练帧采样方法AdaQ，基于高斯分布3-σ规则动态调整采样区间，在仅用64帧下使Qwen3-VL-8B平均超越GPT4o 15.8%，显著提升长视频理解的鲁棒性和效率。

Comments NeurIPS 2026 submission. 15 pages, 8 figures

CADRE: Stable, Parameter Efficient Adaptation of Medical Vision Language Models with Bounded Forgetting and Prior Drift

CADRE：具有有界遗忘和先验漂移的稳定、参数高效的医学视觉语言模型适应

Amrita Singh, Rishabh Jha

机构 * Mindriser's Consortium, Kathmandu, Nepal（Mindriser's 联盟，加德满都，尼泊尔） ； University of Victoria, BC, Canada（维多利亚大学，不列颠哥伦比亚省，加拿大） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.AI

AI总结 提出CADRE框架，通过结合低秩适应与弹性权重巩固及先验锚定惩罚，在仅训练0.23%参数下实现医学视觉语言模型的高精度、低遗忘和正向反向迁移，遗忘率降低约七倍。

Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

安全相关环境中的人类注视与视觉语言模型注意力的比较

Marta Vallejo, Siwen Wang

机构 * Heriot-Watt University（赫瑞-瓦特大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究通过眼动追踪实验和GPT-4o等视觉语言模型，比较了人类与模型在安全相关场景中的注意力分布，发现模型无需训练数据即可近似人类注视模式。

Comments 30 pages, 33 figures. Submitted as a preprint. Code and data available upon reasonable request