视觉大模型 / VLM

Understanding and Defending VLM Jailbreaks via Jailbreak-Related Representation Shift

通过与劫持相关的表示转移理解并防御VLM劫持

Zhihua Wei, Qiang Li, Jian Ruan, Zhenxin Qin, Leilei Wen, Dongrui Liu, Wen Shen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究VLM在视觉模态整合后安全对齐减弱的问题，发现劫持样本在表示空间中形成独特状态，提出通过移除劫持相关转移提升安全性。

NutVLM: A Self-Adaptive Defense Framework against Full-Dimension Attacks for Vision Language Models in Autonomous Driving

NutVLM: 一种针对自动驾驶中视觉语言模型全维度攻击的自适应防御框架

Xiaoxu Peng, Dong Zhou, Jianwen Zhang, Guanghui Sun, Anh Tu Ngo, Anupam Chattopadhyay

机构 * Department of Control Science and Engineering, Harbin Institute of Technology（控制科学与工程系，哈尔滨工业大学） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出NutVLM框架，通过NutNet++ sentinel检测并净化良性样本、局部修补和全局扰动，结合高效灰度遮蔽和专家引导的对抗提示调优，提升自动驾驶中视觉语言模型的鲁棒性与性能。

Comments 12 pages, 6 figures

Hidden Clones: Exposing and Fixing Family Bias in Vision-Language Model Ensembles

隐藏克隆：揭示并修复视觉-语言模型集成中的家族偏见

Zacharie Bugaud

机构 * Astera Institute（Astera研究院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉-语言模型集成中同家族模型的关联误差问题，提出三种家族感知方法，通过层级家族投票、QualRCCV和学得候选评分，提升了集成性能并验证了方法的泛化能力。

Comments 15 pages, 6 figures, 11 tables

LMOD+: A Comprehensive Multimodal Dataset and Benchmark for Developing and Evaluating Multimodal Large Language Models in Ophthalmology

LMOD+: 一个全面的多模态数据集和基准，用于开发和评估眼科中的多模态大语言模型

Zhenyue Qin, Yang Liu, Yu Yin, Jinyu Ding, Haoran Zhang, Anran Li, Dylan Campbell, Xuansheng Wu, Ke Zou, Tiarnan D. L. Keenan, Emily Y. Chew, Zhiyong Lu, Yih Chung Tham, Ninghao Liu, Xiuzhen Zhang, Qingyu Chen

机构 * School of Medicine, Yale University（耶鲁大学医学院） ； School of Computing, Australian National University（澳大利亚国立大学计算机学院） ； School of Engineering, Imperial College London（伦敦帝国理工学院工程学院） ； School of Computing, University of Georgia（佐治亚大学计算机学院） ； Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学杨秀隆医学学院） ； National Eye Institute, National Institutes of Health（美国国立卫生研究院眼科研究所） ； National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆） ； School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算机技术学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文提出一个包含32633个实例的多模态眼科基准数据集，涵盖12种常见眼科疾病和5种成像模态，通过扩展数据集、扩展任务覆盖和系统评估24种最先进的MLLMs，推动眼科AI应用发展。

Comments ACM Transactions on Computing for Healthcare

EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing

EdiVal-Agent：一个面向多轮编辑自动细粒度评估的对象中心框架

Tianyu Chen, Yasi Zhang, Zhi Zhang, Peiyu Yu, Shu Wang, Zhendong Wang, Kevin Lin, Xiaofei Wang, Zhengyuan Yang, Linjie Li, Chung-Ching Lin, Jianwen Xie, Oscar Leong, Lijuan Wang, Ying Nian Wu, Mingyuan Zhou

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Microsoft AI Superintelligence（微软人工智能超智实验室） ； Lambda, Inc（Lambda公司） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出EdiVal框架，通过对象中心视角实现多轮编辑的细粒度评估，引入EdiVal-IF、EdiVal-CC和EdiVal-VQ三个指标，构建多轮编辑基准测试平台，用于识别现有编辑模型的失败模式。

Comments Tianyu Chen and Yasi Zhang contributed equally; Oscar Leong, Lijuan Wang, Ying Nian Wu, and Mingyuan Zhou advised equally

Sensi: Learn One Thing at a Time -- Curriculum-Based Test-Time Learning for LLM Game Agents

Sensi：一次学一项——基于课程的学习式测试时间学习用于LLM游戏代理

Mohsen Arjmandi

机构 * Independent Researcher (CTO, evolutionID)（独立研究者（CTO, evolutionID）） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 Sensi通过结构化测试时间学习机制，提升LLM游戏代理在未知环境中的学习效率，其核心方法包括双玩家架构、课程学习系统和数据库作为控制平面，显著提高了样本效率。

Comments Preprint. 18 pages, 5 figures, 2 tables. Independent research. Code and Colab demo coming soon on GitHub

FINER: MLLMs Hallucinate under Fine-grained Negative Queries

FINER：MLLMs在细粒度负查询下产生幻觉

Rui Xiao, Sanghwan Kim, Yongqin Xian, Zeynep Akata, Stephan Alaniz

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Helmholtz Munich（海德堡-慕尼黑亥姆霍尔茨中心） ； Google（谷歌） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FINER基准测试，分析MLLMs在细粒度不匹配与真实元素共存时的幻觉问题，并通过FINER-Tuning提升模型性能。

Comments CVPR 2026

SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models

SCAM：多模态基础模型的现实世界字形鲁棒性评估

Justus Westerhoff, Erblina Purelku, Jakob Hackstein, Jonas Loos, Leo Pinetzki, Erik Rodner, Lorenz Hufe

机构 * BLISS e.V.（BLISS协会） ； Berliner Hochschule für Technik (BHT)（柏林技术大学） ； Technische Universität Berlin（柏林技术大学） ； KI Werkstatt, Hochschule für Technik und Wirtschaft Berlin (HTW)（柏林技术经济学院） ； Merantix Momentum（Merantix Momentum公司） ； Fraunhofer Heinrich-Hertz-Institut, Berlin, Germany（柏林弗劳恩霍夫 Heinrich-Hertz 研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SCAM数据集，用于评估多模态基础模型对字形攻击的鲁棒性，发现训练数据和模型架构影响攻击敏感性，且大语言模型基座可降低攻击影响。

Comments Accepted at CVPR 2025 Workshop EVAL-FoMo-2

Journal ref Journal of Data-centric Machine Learning Research (2026)