视觉大模型 / VLM

VLM-SAFE: Vision-Language Model-Guided Safety-Aware Reinforcement Learning with World Models for Autonomous Driving

VLM-SAFE: 基于世界模型的视觉-语言模型引导的安全强化学习用于自动驾驶

Yansong Qu, Zilin Huang, Zihao Sheng, Jiancong Chen, Yue Leng, Samuel Labi, Sikai Chen

机构 * Lyles School of Civil and Construction Engineering, Purdue University（普渡大学莱尔斯土木与建筑工程学院） ； Department of Civil and Environmental Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； Google（谷歌） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(title,abstract)；分类 cs.AI

AI总结 本文提出VLM-SAFE框架，通过观察-想象-评估-行动闭环，利用视觉语言模型提供语义安全信号，结合世界模型预测未来轨迹，优化策略以提升自动驾驶的安全性和效率。

Comments N/A

Edge Reliability Gap in Vision-Language Models: Quantifying Failure Modes of Compressed VLMs Under Visual Corruption

视觉-语言模型边缘可靠性差距：压缩VLM在视觉损坏下的失败模式量化

Mehmet Kaan Erol

机构 * Marmara University, Institute of Pure and Applied Sciences（马尔马拉大学纯科学与应用科学研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文比较了压缩的视觉-语言模型在视觉损坏下的失败模式，发现紧凑模型在COCO上表现出更高的语义漂移和对象盲区，且置信度校准存在显著差异。

Comments 16 pages, 5 figures

Adversarial Attacks on Multimodal Large Language Models: A Comprehensive Survey

对多模态大语言模型的对抗攻击：全面综述

Bhavuk Jain, Sercan Ö. Arık, Hardeo K. Thakur

机构 * Google（谷歌） ； Bennett University, India（印度贝内特大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 本文综述了多模态大语言模型面临的对抗威胁，分析了攻击类型及其根源，提出分类框架以提升模型安全性。

Comments Survey paper, 37 pages, 10 figures, accepted at TMLR

Journal ref Transactions on Machine Learning Research, 2026

Assessing Vision-Language Models for Perception in Autonomous Underwater Robotic Software

评估用于自主水下机器人软件中的视觉-语言模型感知能力

Muhammad Yousaf, Aitor Arrieta, Shaukat Ali, Paolo Arcaini, Shuai Wang

机构 * Simula Research Laboratory（Simula研究实验室） ； Oslo Metropolitan University（奥斯陆城市大学） ； Mondragon University（蒙德拉贡大学） ； National Institute of Informatics（国立信息学研究所） ； Det norske Veritas (DNV)（挪威船级社（DNV）） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 本文评估了视觉-语言模型在自主水下机器人软件中的感知性能，通过计算性能和不确定性来指导软件工程师选择合适的模型。

Comments 16 pages, 5 figures

Domain-Invariant Prompt Learning for Vision-Language Models

领域不变提示学习用于视觉-语言模型

Arsham Gholamzadeh Khoee, Yinan Yu, Robert Feldt

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DiCoOp，通过对抗训练方法提升视觉-语言模型在不同领域中的泛化能力，有效解决领域偏移问题。

Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection

通过因果发现和双模态安全子空间投影诊断和修复视觉-语言模型中的不安全通道

Jinhu Fu, Yihang Lou, Qingyi Si, Shudong Zhang, Yan Bai, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Peking University（北京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CARE框架，通过因果分析和双模态安全子空间投影修复视觉-语言模型中的不安全通道，提升安全性而不影响多模态能力。

Comments Accepted by CVPR 2026 main conference

Contextual inference from single objects in Vision-Language models

从单个物体中推断上下文在视觉-语言模型中的研究

Martina G. Vilas, Timothy Schaumlöffel, Gemma Roig

机构 * Goethe University Frankfurt（法兰克福大学） ； The Hessian Center for AI（黑森州人工智能中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉-语言模型中单个物体推断场景上下文的能力，发现物体属性影响推断性能，且不同层次的推断存在解耦现象。

ScenePilot-4K: A Large-Scale First-Person Dataset and Benchmark for Vision-Language Models in Autonomous Driving

ScenePilot-4K：一个大规模第一视角数据集和基准，用于自动驾驶中视觉-语言模型的安全感知学习与评估

Yujin Wang, Yutong Zheng, Wenxian Fan, Tianyi Wang, Hongqing Chu, Li Zhang, Bingzhao Gao, Daxin Tian, Jianqiang Wang, Hong Chen

机构 * Tongji University（同济大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； Fudan University（复旦大学） ； Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出ScenePilot-4K数据集，包含3847小时视频和27.7亿帧图像，用于评估视觉-语言模型在自动驾驶中的场景理解、空间感知、运动规划和语义对齐能力，揭示模型在几何感知和规划推理方面的局限性。

Overthinking Causes Hallucination: Tracing Confounder Propagation in Vision Language Models

过度思考导致幻觉：追踪视觉语言模型中的混杂因素传播

Abin Shoby, Ta Duc Huy, Tuan Dung Nguyen, Minh Khoi Ho, Qi Chen, Anton van den Hengel, Phi Le Nguyen, Johan W. Verjans, Vu Minh Hieu Phan

机构 * Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所） ； Hanoi University of Science and Technology（河内科技大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title,abstract)；分类 cs.CV

AI总结 研究发现视觉语言模型幻觉源于过度思考，通过分析模型推理过程揭示混杂因素传播机制，提出Overthinking Score提升幻觉检测性能。

Comments CVPR2026 Findings

SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding

SECOND：通过选择性和对比性解码缓解视觉-语言模型中的感知幻觉

Woohyeon Park, Woojin Kim, Jaeik Kim, Jaeyoung Do

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔大学人工智能跨学科项目） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出SECOND方法，通过选择性与对比性解码机制，有效利用多尺度视觉信息，减少视觉语言模型中的感知幻觉并提升性能。

Journal ref ICML 2025

Meta-Contrastive Learning for Vision-Language Models via Task-Adaptive CLIP Training

通过任务自适应CLIP训练实现视觉语言模型的元对比学习

Merham Fouladvand, Peuroly Batra

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)

AI总结 本文提出一种域条件元对比学习框架，通过任务自适应CLIP训练提升视觉语言模型跨域泛化能力，引入域嵌入和交叉域对齐正则化，增强模型在域偏移下的鲁棒性。

SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation

SAGE：面向sink的 grounded 解码用于多模态幻觉缓解

Tripti Shukla, Zsolt Kira

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 SAGE通过动态调节自注意力机制，实时监控 grounding 可靠性，有效缓解多模态幻觉问题，实验显示在MSCOCO和AMBER基准上取得显著提升。

Comments 25 pages, 6 figures, 7 tables

Echoes of ownership: Adversarial-guided dual injection for copyright protection in MLLMs

所有权的回声：对抗引导的双注入用于MLLMs中的版权保护

Chengwei Xia, Fan Ma, Ruijie Quan, Yunqiu Xu, Kun Zhan, Yi Yang

机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出一种生成版权触发器的框架，通过双注入方法在MLLMs中嵌入可验证的版权信息，以在微调衍生模型中触发专属文本响应，同时在非衍生模型中保持无活性。

Comments Accepted to CVPR 2026!

ImagenWorld: Stress-Testing Image Generation Models with Explainable Human Evaluation on Open-ended Real-World Tasks

ImagenWorld: 通过可解释的人类评估对图像生成模型进行压力测试，针对开放性现实任务

Samin Mahdizadeh Sani, Max Ku, Nima Jamali, Matina Mahdizadeh Sani, Paria Khoshtab, Wei-Chieh Sun, Parnian Fazel, Zhi Rui Tam, Thomas Chong, Edisy Kin Wai Chan, Donald Wai Tong Tsang, Chiao-Wei Hsu, Ting Wai Lam, Ho Yin Sam Ng, Chiafeng Chu, Chak-Wing Mak, Keming Wu, Hiu Tung Wong, Yik Chun Ho, Chi Ruan, Zhuofeng Li, I-Sheng Fang, Shih-Ying Yeh, Ho Kei Cheng, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； G-G-G ； Comfy Org ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Independent（独立研究者） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ImagenWorld通过3600个条件集评估14个模型，揭示编辑任务比生成任务更难，艺术和照片实感领域表现优异，但符号和文本密集领域表现较差，现代VLM指标在Kendall准确性上达0.79，但无法实现细粒度可解释性误差归因。

Comments Published in ICLR 2026

Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models

针对LAION-400M的人为中心标注：审查偏见及其在模型中的转移

Leander Girrbach, Stephan Alaniz, Genevieve Smith, Trevor Darrell, Zeynep Akata

机构 * Technical University of Munich, Munich Center for Machine Learning (MCML), MDSI（慕尼黑工业大学，慕尼黑机器学习中心（MCML），MDSI） ； LTCI, Télécom Paris, Institut Polytechnique de Paris, France（法国巴黎理工学院，巴黎电信学院，LTCI） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文通过创建LAION-400M的人为中心标注，揭示了训练数据中存在的人口统计学偏见，并展示了这些偏见如何转移到视觉-语言模型中。

Comments ICLR 2026

Position: Explainable AI is Causality in Disguise

位置：可解释AI是伪装的因果性

Amir-Hossein Karimi

机构 * Department of Electrical \& Computer Engineering, University of Waterloo \& Vector Institute, Canada 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文指出可解释AI的核心问题在于缺乏因果模型的指导，通过将XAI问题转化为因果问题，强调因果模型对XAI的必要性。

LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models

LIBERO-Para：一种用于视觉语言动作模型中同义词鲁棒性诊断的基准和指标

Chanyoung Kim, Minwoo Kim, Minseok Kang, Hyunwoo Kim, Dahuin Jung

机构 * Soongsil University（崇实大学） ； Chung-Ang University（中央大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出LIBERO-Para基准，通过独立变化动作表达和物体参考，分析语言泛化能力。研究发现，不同规模的VLA模型在同义词替换下性能下降22-52个百分点，主要由物体层面的词汇变化导致。提出PRIDE指标量化同义词难度，揭示模型对任务识别的依赖。

Comments 32 pages, 28 figures