视觉大模型 / VLM

On the Robustness of Machine Unlearning for Vision-Language Models

机器遗忘在视觉-语言模型中的鲁棒性研究

Yujie Lin, Kaidi Jia, Jiayao Ma, Chengyi Yang, Jinsong Su

机构 * Xiamen University（厦门大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文首次系统调查了视觉-语言模型机器遗忘的鲁棒性，通过提出三种攻击范式揭示现有方法往往隐藏而非彻底移除目标知识。

Unveiling the Fragility of Vision-Language Models: Multi-Modal Adversarial Synergy via Texture-Constrained Perturbations and Cross-Modal Optimization

揭示视觉-语言模型的脆弱性：通过纹理约束扰动和跨模态优化的多模态对抗协同

Xiang Fang, Wanlong Fang, Changshuo Wang

机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 提出多模态对抗协同框架，通过纹理约束的通用对抗扰动和可学习的文本提示扰动，在黑盒设置下联合优化，揭示视觉-语言模型在多模态攻击下的脆弱性。

Comments Publish in AAAI 2026

Benchmarking Convolutional, Transformer, Hybrid, and Vision Language Models for Multi Disease Retinal Screening

卷积、Transformer、混合模型及视觉语言模型在多病种视网膜筛查中的基准测试

Durjoy Dey, Aymane Ajbar, Yuhong Yan

机构 * Department of Computer Science and Software Engineering（计算机科学与软件工程系） ； Concordia University（康科迪亚大学） ； Ebovir Biotechnologie Inc.（Ebovir生物技术公司） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究在RFMiD数据集上对四种模型家族的12种架构进行基准测试，评估其在多病种视网膜筛查中的性能，发现基于注意力的模型（如SwinTiny、CoAtNet0、MaxViTTiny）在二元筛查和多标签分类中表现最佳，视觉语言模型与CNN基线相当但未超越最优Transformer和混合模型。

Comments 12 pages, 3 figures, accepted at ICMHI 2026, 10th International Conference on Medical and Health Informatics, Kyoto, Japan. To appear in ACM Conference Proceedings

Drive-P2D: A Progressive Perception-to-Decision Benchmark for VLMs in Autonomous Driving

Drive-P2D：自动驾驶中视觉语言模型的渐进式感知到决策基准

Zecong Tang, Zixu Wang, Yifei Wang, Weitong Lian, Tianjian Gao, Haoran Li, Tengju Ru, Lingyi Meng, Zhejun Cui, Yichen Zhu, Qi Kang, Kaixuan Wang, Yu Zhang

机构 * Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出Drive-P2D基准，通过分离推理与答案的协议，在目标、场景和决策三个层级上评估视觉语言模型的感知到决策能力，并分析错误模式。

Leveraging Visual Signals for Robust Token-Level Uncertainty in Vision-Language Generation

利用视觉信号实现视觉-语言生成中鲁棒的词元级不确定性

Joseph Hoche, David Brellmann, Gianni Franchi

机构 * AMIAD, Pôle Recherche, Palaiseau（AMIAD研究部，帕莱索） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型不确定性量化中视觉信息利用不足的问题，提出基于视觉锚定的词元级不确定性量化框架VIG-TUQ，通过加权语言不确定性与视觉锚定分数，无需训练即可提升不确定性估计性能。

Furina: Fragmented Uncertainty-Driven Refusal Instability Attack

Furina: 碎片化不确定性驱动的拒绝不稳定攻击

Tongxi Wu, Jian Zhang, Yang Gao

机构 * School of Intelligence Science and Technology（智能科学与技术学院） ； State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； Nanjing University（南京大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过揭示大语言模型安全行为存在不稳定区域，提出多指标诊断框架并开发Furina攻击方法，利用碎片化场景提示诱导不确定性放大，实现高效越狱。

Comments This work is accepted as a regular paper at ICML 2026

Seeing vs. Believing: Evaluating the Language Bias of Open-Source MLLMs in Counter-Intuitive Scenes

看见 vs. 相信：评估开源多模态大模型在反直觉场景中的语言偏见

Chen Ling, Tongwei Zhang, Hanqian Li, Nai Ding

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 为评估多模态大模型处理反直觉动作场景的能力，提出CAIT基准（400个高保真合成场景），发现开源模型因语言先验而忽视视觉证据，性能接近随机水平，而链式思维推理虽提升准确率但导致过度思考拒绝视觉内容，通过微调和结构化提示可缓解此偏见。

SWAP: Towards Copyright Auditing of Soft Prompts via Sequential Watermarking

SWAP：通过顺序水印实现软提示的版权审计

Wenyuan Yang, Yichen Sun, Changzheng Chen, Zhixuan Chu, Jiaheng Zhang, Yiming Li, Dacheng Tao

机构 * Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对软提示的版权保护问题，提出一种基于顺序水印的审计方法SWAP，通过将水印嵌入到更复杂的输出分布顺序空间中，实现无害且鲁棒的版权验证。

Comments This paper has been accepted by the International Journal of Computer Vision (IJCV), 2026. The first two authors contributed equally to this work. 28 pages

QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents

QUACK: 多模态社交推理智能体中的沟通知识质疑、理解与审计

Ye Yuan, Rui Song, Weien Li, Zeyu Li, Haochen Liu, Xiangyu Kong, Changjiang Han, Yonghan Yang, Zichen Zhao, Zixuan Dong, Fuyuan Lyu, Bowei He, Haolun Wu, Jikun Kang, Xue Liu

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； University of Cambridge（剑桥大学） ； MBZUAI - Mohamed bin Zayed University of Artificial Intelligence（MBZUAI - 摩苏尔·本·扎耶德人工智能大学） ； University of Toronto（多伦多大学） ； Salesforce 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 提出QUACK框架，通过游戏结果、行为轨迹和话语一致性三级评估，自动审计多模态社交推理智能体语言与感知行为的一致性，发现最强智能体仍有15.1%的空间幻觉和过半无据指控。

Object Pose and Shape Estimation for Grasping: Does it Work?

用于抓取的目标姿态与形状估计：有效吗？

Pavan Karke, Kushal Shah, Gaurav Singh, Md Faizal Karim, K Madhava Krishna, Rajat Talak

机构 * Robotics Research Center, IIIT Hyderabad（IIIT海得拉巴机器人研究中心） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文通过对比端到端抓取合成方法与模块化方法（先估计目标姿态和形状再采样抓取），评估现有姿态和形状估计方法在抓取任务中的有效性。

Comments 9 pages, 8 figures

Sell Me This Stock: Unsafe Recommendation Drift in LLM Agents

卖给我这支股票：LLM智能体中的不安全推荐漂移

Zekun Wu, Adriano Koshiyama, Sahan Bulathwela, Maria Perez-Ortiz

机构 * Centre for Artificial Intelligence, University College London（人工智能研究中心，伦敦大学学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 研究LLM智能体在多轮金融推荐中因工具输出被操纵而产生风险不匹配推荐的问题，通过实验揭示评估盲区并分析机制。

Red-Teaming Claude Opus and ChatGPT-based Security Advisors for Trusted Execution Environments

对基于Claude Opus和ChatGPT的TEE安全顾问进行红队测试

Kunal Mukherjee, Spandan Mukherjee

机构 * Virginia Tech（弗吉尼亚理工大学） ； The University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 针对TEE安全顾问角色下的LLM助手（ChatGPT-5.2和Claude Opus-4.6），提出TEE-RedBench评估方法，发现提示诱导的失败可跨模型迁移（最高12.02%），并通过LLM-in-the-loop流水线减少80.62%的失败。

Comments Accepted for publication in ACM CAIS '26 Workshop on AI Discovery in the Wild (AID-Wild)

Auditing the Reliability of Multimodal Generative Search

审计多模态生成式搜索的可靠性

Erfan Samieyan Sahneh, Luca Maria Aiello

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)

AI总结 通过大规模审计Gemini 2.5 Pro系统，发现3.7%至18.7%的基于视频的生成式搜索声明未被引用来源支持，主要失败模式为不可验证的特异性与夸大声明。

Comments 14 pages, LaTeX, typos corrected, adding Data Availability section + examples in appendix, New plot(overview)