视觉大模型 / VLM

VLM-CASE: Vision-Language Model Enabled Context-Adaptive Safety Envelopes for Anticipatory Safe Autonomous Driving

VLM-CASE：面向前瞻安全自动驾驶的视觉语言模型赋能上下文自适应安全包络

Tianjia Yang, Ke Li, Ruwen Qin, Xianbiao Hu

机构 * Department of Civil and Environmental Engineering, The Pennsylvania State University（宾夕法尼亚州立大学土木与环境工程系） ； Department of Civil Engineering, Stony Brook University（石溪大学土木工程系） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(title,abstract)；分类 cs.CV

AI总结 针对恶劣工况下自动驾驶感知与性能退化、仅能事后响应的问题，提出基于微调VLM的上下文自适应安全包络框架，实现前瞻安全控制，在多场景仿真中性能优于基线方法。

VLM-AR3L: Vision-Language Models for Absolute and Relative Rewards in Reinforcement Learning

VLM-AR3L：用于强化学习中绝对和相对奖励的视觉-语言模型

Kuan-Chen Chen, Winston Chen, Wei-Fang Sun, Min-Chun Hu

机构 * National Tsing Hua University（国立清华大学） ； NVIDIA AI Technology Center (NVAITC)（英伟达AI技术中心） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(title,abstract)

AI总结 提出VLM-AR3L框架，利用视觉-语言模型从偏好标签中学习绝对和相对奖励，结合状态评估与比较监督，在多种基准任务中优于先前方法。

Comments Accepted at IJCAI 2026. Project website: https://vlm-ar3l.github.io/

VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

VLM评判者能排序但无法评分：多模态评估中的任务依赖性不确定性

Divake Kumar, Sina Tayebati, Devashri Naik, Ranganath Krishnan, Amit Ranjan Trivedi

机构 * University of Illinois at Chicago（伊利诺伊大学香槟分校） ； AI Labs at Capital One（Capital One人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文通过置信预测框架分析VLM作为评判者的可靠性，发现任务依赖性显著影响评估不确定性，提出排名-评分解耦问题，揭示任务难度和标注质量对区间宽度的影响。

MM-JudgeBias: A Benchmark for Evaluating Compositional Biases in MLLM-as-a-Judge

MM-JudgeBias：一个评估MLLM-as-a-Judge中组合偏见的基准

Sua Lee, Sanghee Park, Jinbae Im

机构 * Seoul National University（首尔国立大学） ； NAVER Cloud AI（NAVER云AI） ； KAIST AI（韩国科学技术院人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MM-JudgeBias基准，通过引入控制扰动和两个互补指标，评估MLLM-as-a-Judge中的组合偏见，揭示了九种偏见类型，并发现现有模型存在模态忽视和评估倾向性问题。

Comments ACL 2026 Main

VLM as Strategist: Adaptive Generation of Safety-critical Testing Scenarios via Guided Diffusion

VLM作为策略家：通过引导扩散实现安全关键测试场景的自适应生成

Xinzheng Wu, Junyi Chen, Naiting Zhong, Yong Shen

机构 * School of Automotive Studies, Tongji University（同济大学汽车研究学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.LG

AI总结 本文提出一种结合VLM和引导扩散模型的框架，用于高效生成安全关键测试场景，提升自动驾驶系统的测试效率和安全性。

Comments 25 pages, 9 figures

Journal ref Accident Analysis & Prevention Volume 236, October 2026, 108680

SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents

SafeRelBench：用于VLM驱动的具身智能体过程级安全的空间关系感知基准测试

Huaigang Yang, Ya Li, Min Ren, Bo Dai, Zhenliang Zhang, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 研究VLM驱动具身智能体的过程级安全问题，引入SAFERELBENCH基准测试，含507个样本。评估七个智能体发现任务成功与安全合规有差距，该基准明确测试行动前安全条件，凸显空间关系在安全评估中的核心地位。

Comments Preprint. 10 pages, 6 figures, 4 tables

Surfacing Variations to Calibrate Perceived Reliability of MLLM-generated Image Descriptions

表面化变异以校准MLLM生成图像描述的可信度感知

Meng Chen, Akhil Iyer, Amy Pavel

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 通过系统性地展示多个MLLM响应间的变异，帮助盲人或低视力用户无需视觉检查即可检测不可靠信息，实验表明该方法将识别不可靠声明的能力提升4.9倍。

Comments 18 pages, 6 figures

One Stone, Three Birds: Self-adaptive Optimal Transport for Multi-VLM Selection, Adaptation, and Ensembling

一石三鸟：面向多VLM选择、自适应与集成的自适应最优传输

Qiyu Xu, Zhanxuan Hu, Yu Duan, Yonghang Tai, Huafeng Li, Quanxue Gao, Xiangyong Cao

机构 * Xi’an Jiaotong University（西安交通大学） ； Yunnan Normal University（云南师范大学） ； Xidian University（西安电子科技大学） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出无训练框架OSTB，通过自适应最优传输估计共识样本-类别结构，同时解决多VLM的模型选择、目标域自适应和预测集成问题。

RoboStressBench: Benchmarking VLM Robustness to Physical Visual Stress in Embodied Scenes

RoboStressBench: 在具身场景中基准测试VLM对物理视觉压力的鲁棒性

Leyi Wu, Yifan Zhao, Jinjie Zhang, Suzeyu Chen, Wosong Chen, Zhifei Chen, Tianshuo Xu, Qingchun He, Hongxin Hu, Haojian Huang, Yangkai Wei, Wenqian Li, Yinchuan Li, Ying-Cong Chen

机构 * HKUST(GZ)（香港科技大学(广州)） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出RoboStressBench，从逆图形学角度将视觉压力分解为材质、视角、光照和几何四个物理维度，系统评估VLM在真实物理压力下的鲁棒性，并引入压力感知求解器提升高压力场景下的性能。

From Internal Diagnosis to External Auditing: A VLM-Driven Paradigm for Data-Free Online Backdoor Defense

从内部诊断到外部审计：一种VLM驱动的数据自由在线后门防御范式

Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong, Hong Kong（香港中文大学） ； Sun Yat-sen University, China（中山大学） ； Zhejiang University, China（浙江大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 提出一种从内部诊断到外部语义审计的范式转变，利用通用视觉语言模型（VLM）作为外部语义门控，通过PRISM框架（原型精炼与统计监控检查）实现数据自由的在线后门防御，在17个数据集和11种攻击类型上达到最先进性能。

Comments 25 pages, 10 figures, 19 tables. To appear in the Proceedings of the 43 rd International Conference on Machine Learning (ICML '26)

Benchmarking and Enhancing VLM for Compressed Image Understanding

基准测试与增强VLM对压缩图像的理解

Zifu Zhang, Tongda Xu, Siqi Li, Shengxi Li, Yue Zhang, Mai Xu, Yan Wang

机构 * Institute for AI Industry Research, Tsinghua University, Beijing, China（清华人工智能产业研究院） ； Beihang University, Beijing, China（北京航空航天大学） ； Beijing University of Technology, Beijing, China（北京理工大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出首个全面基准测试评估VLM对压缩图像的理解能力，分析性能差距来源，并设计通用适配器提升模型性能10%-30%。

Comments The paper is accepted by ICML 2026

Concepts Worth Having: Refining VLM-Guided Concept Bottleneck Models with Minimal Annotations

值得拥有的概念：通过最小标注精炼VLM引导的概念瓶颈模型

Nicola Debole, Andrea Passerini, Stefano Teso, Andrea Pugnana, Emanuele Marconato

机构 * DISI, University of Trento, Italy（特伦托大学DISI研究所，意大利） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出VH-CBM模型，结合VLM和少量标注提升概念预测准确性与可解释性，验证其在概念校准和主动学习中的优势。

One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations

一个扰动，两种失效模式：通过嵌入引导的字形扰动探测VLM安全性

Ravikumar Balakrishnan, Sanket Mendapara

机构 * Cisco Systems（思科系统） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.CV

AI总结 本文通过实证研究揭示多模态嵌入距离对VLM攻击成功率的预测作用，并提出基于嵌入引导的字形扰动方法，验证了可读性与安全对齐的交互影响。

Attack Ensembles Expose a Safety-Utility Trade-off in Black-Box Guard Defenses Against Encoded VLM Jailbreaks

恢复、解码、再防护：针对编码型VLM越狱的防护无关型防御放大技术

Haoyu Zhang, Zhuoxi Wang, Shibo Zheng, Yi Feng, Xiao Luo, Zijian Xiao, Haowen Xu, Xiangchen Guan, Mohammad Zandsalimy, Shanu Sushmita

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出防护无关型的恢复-解码放大器，评估其对11种攻击集成的编码型VLM越狱防御效果，发现其存在安全-效用上限，贡献了放大器、集成评估方法及防御适用场景图谱。

Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity

陪审团职责：文化模糊性下MLLM作为评判者的校准与定向失败

Daniel Lee, Harsh Sharma, Eunkyu Park, Pranav Narayanan Venkit, Jeonghwan Kim, Kah Mun Chia, Andreas Vlachos, Shafiq Joty

机构 * Salesforce AI Research（Salesforce AI 研究院） ； University of Cambridge（剑桥大学） ； University of Colorado Boulder（科罗拉多大学博尔德分校） ； Carnegie Mellon University（卡内基梅隆大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title,title_cn)；分类 cs.CV、cs.AI

AI总结 针对MLLM作为评判者在跨文化场景中的偏差问题，提出VOIR DIRE基准，通过分析校准失败（压缩尺度）和定向失败（默认一种文化规范），揭示模型偏向于更宽容的文化解读。

Comments Under Review

Value-Guided Iterative Refinement and the DIQ-H Benchmark for Evaluating VLM Robustness

基于价值引导的迭代精炼与DIQ-H基准：评估VLM鲁棒性的新方法

Hanwen Wan, Zexin Lin, Yixuan Deng, Xiaoqiang Ji

机构 * The School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）科学与工程学院） ； The School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）人工智能学院） ； The Shenzhen Institute of Artificial Intelligence and Robotics for Society, Shenzhen, China（深圳人工智能与机器人社会研究院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DIQ-H基准和VIR框架，通过模拟真实世界压力源评估VLM在连续序列中的鲁棒性，提升误差恢复和伦理一致性。

When Visual Signals Mislead: A Mechanistic Study of Attribute Hallucination in Vision-Language Models

当视觉信号产生误导：视觉语言模型中属性幻觉的机制研究

Yufei Zhang, Chenlu Zhan, Hongwei Wang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；InternVL(abstract,abstract_cn)；VLM(abstract)

AI总结 针对视觉语言模型的属性幻觉问题，提出VISOR框架，通过VSNR诊断区分失败模式并路由适配操作，在三类模型上减少属性假阳性且不依赖先验主导假设。

Spectral Query-Key Product Weight Steering for Training-Free VLM Hallucination Mitigation

谱查询-键乘积权重引导用于免训练VLM幻觉缓解

Karn Tiwari, Varnith Chordia, Prathosh A P

机构 * Indian Institute of Science, Bengaluru（印度科学理工学院，班加罗尔） ； Snap Research（Snap 研究院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出QK乘积引导，一种无数据、免训练、零推理成本的权重编辑方法，通过抑制中间层主导奇异模式减少对象幻觉，在三个GQA基VLM上平均降低CHAIR$_s$ 4.0%。

Comments Under Review

Judging to Improve: A De-biased VLM-as-3D-Judge Protocol for Single-Image 3D Generation

评判以改进：一种去偏的 VLM-as-3D-Judge 协议用于单图像 3D 生成

Ali Asaria, Tony Salomone, Deep Gandhi

机构 * Transformer Lab 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；分类 cs.LG

AI总结 本文提出一种去偏的跨模型 VLM-as-3D-Judge 协议，将评判者从排序扩展到优化，通过训练与评估评判者分离、位置偏差校正及修复三种失效模式，实现轻量级适应下与强基线的匹配。

A Cross-Model VLM-Judge Protocol for Single-Image 3D Mesh Quality (and Why Cheap Proxies Fall Short)

跨模型VLM评判协议用于单图像3D网格质量（以及为什么廉价代理方法不足）

Ali Asaria, Tony Salomone, Deep Gandhi

机构 * Transformer Lab 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；分类 cs.LG

AI总结 提出可重复的VLM评判协议评估单图3D网格质量，发现几何有效性和渲染CLIP等廉价代理方法无法替代VLM评判。

A Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation

面向VLM-as-a-Judge评估的视障辅助基准

Yi Zhao, Siqi Wang, Zhe Hu, Yushi Li, Jing Li

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；分类 cs.CV

AI总结 针对视障辅助任务中VLM-as-a-Judge评估的可靠性问题，提出VIABLE基准（含30万+样本、有效性-公正性-稳定性框架及12种失败模式分类），发现现有模型不可靠，并开发VIA-Judge-Agent方法提升诊断准确性和用户偏好。

SPOT-E: Test-Time Entropy Shaping with Visual Spotlights for Frozen VLMs

SPOT-E：基于视觉聚光灯的冻结VLM测试时熵整形

Bo Yin, Xiaobin Hu, Chengming Xu, Ruolin Shen, Mo Yang, Jiangning Zhang, Peng-Tao Jiang, Cheng Tan, Shuicheng Yan

机构 * National University of Singapore（新加坡国立大学） ； Fudan University（复旦大学） ； Technical University of Munich（慕尼黑工业大学） ； Sagenic Tech ； Zhejiang University（浙江大学） ； vivo ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title_cn,summary_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出SPOT-E方法，通过测试时熵整形和视觉聚光灯，解决VLM在证据密集型任务中因忽视局部关键证据而表现不佳的问题，无需重新训练即可提升定位与鲁棒性。

To Agree or To Be Right? The Grounding-Sycophancy Tradeoff in Medical Vision-Language Models

同意还是正确？医学视觉-语言模型中的 grounding 与谄媚权衡

OFM Riaz Rahman Aranya, Kevin Desai

机构 * Department of Computer Science, The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校计算机科学系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；grounding(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 研究评估了六种医学视觉问答模型，揭示了 grounding 与谄媚之间的权衡关系，并提出三种新指标以评估模型的可靠性与安全性。

VLM-RobustBench: A Comprehensive Benchmark for Robustness of Vision-Language Models

VLM-RobustBench: 一种全面的视觉语言模型鲁棒性基准

Rohit Saxena, Alessandro Suglia, Pasquale Minervini

机构 * University of Edinburgh, UK（爱丁堡大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(title,abstract)；InternVL(abstract)；分类 cs.CV、cs.AI

AI总结 VLM-RobustBench评估了视觉语言模型在不同图像失真下的鲁棒性，发现低严重性空间扰动对性能影响更大，提示需改进鲁棒性评估和训练方法。

Assessing VLM Reliability for Medical Image Quality Evaluation Under Corruption and Bias

评估视觉语言模型在图像退化与偏差下进行医学图像质量评估的可靠性

Sofiane Ouaari, Kevin Vorwalder, Nico Pfeifer

机构 * University of Tuebingen（图宾根大学） ； Institute for Bioinformatics and Medical Informatics (IBMI), University of Tuebingen（图宾根大学生物信息学与医学信息学研究所） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract_cn)；InternVL(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)

AI总结 研究视觉语言模型在医学图像质量评估中，面对图像退化（如像素化）和文本属性偏差时的可靠性，发现像素化显著降低性能，而文本属性（如机构声望）引入偏差。

Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

一次剪枝：面向视觉-语言模型的无需重训练的任务无关剪枝

Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

机构 * Chung-Ang University（中央大学） ； Soongsil University（崇实大学） ； Kookmin University（国民大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出名为PORTA的无需重训练的任务无关VLM剪枝框架，通过自适应稀疏分配实现高压缩下的竞争力性能，支持高效VLM压缩。

Comments Accepted to ECCV 2026

AirflowAttack: Thermal-Airflow Adversarial Perturbations against Infrared Remote-Sensing Vision-Language Models

AirflowAttack：针对红外遥感视觉语言模型的热气流对抗扰动

Cong Su, Jiaju Han, Xuemeng Sun, Chengyin Hu, Qike Zhang, Jiujiang Guo, Yiwei Wei, Jiahuan Long

机构 * China University of Petroleum-Beijing at Karamay（中国石油大学（北京）克拉玛依校区） ； Tianjin University（天津大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究针对红外遥感视觉语言模型的对抗攻击，提出AirflowAttack方法，用热气流湍流作扰动先验，由轻量级生成器合成扰动。该方法在多个CLIP主干上攻击成功率高，能降低模型场景分类准确率，还揭示了红外VLM生态系统的关键漏洞。

DriveVLM-RL: Neuroscience-Inspired Reinforcement Learning with Vision-Language Models for Safe and Deployable Autonomous Driving

DriveVLM-RL：受神经科学启发的强化学习与视觉语言模型用于安全可部署的自动驾驶

Zilin Huang, Zihao Sheng, Zhengyang Wan, Yansong Qu, Junwei You, Sicong Jiang, Sikai Chen

机构 * Department of Civil and Environmental Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； Lyles School of Civil and Construction Engineering, Purdue University（普渡大学莱尔斯土木与建设工程学院） ； Department of Civil Engineering, McGill University（麦吉尔大学土木工程系） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出DriveVLM-RL框架，通过双通路架构将VLM集成到RL中，实现安全可部署的自动驾驶，在CARLA中显著优于基线。

Comments 33 pages, 16 figures

Automating Potential-based Reward Shaping with Vision Language Model Guidance

基于视觉语言模型引导的势能奖励塑形自动化

Henrik Müller, Daniel Kudenko

机构 * L3S Research Center Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出VLM-PBRS框架，利用轻量级视觉语言模型的偏好学习势能函数，实现自动化奖励塑形，保证最优策略不变，提升样本效率并避免奖励黑客。

PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models

PHANTOM：面向视觉-语言模型的多模态对抗攻击大规模数据集

Simone Gallivanone, Hossein Khodadadi, Mauro Dore, Mauro Medda, Nicola Franco

机构 * The Italian Institute of Artificial Intelligence (AI4I)（意大利人工智能研究所（AI4I）） ； HikmaAI S.r.l.（HikmaAI有限责任公司） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出一个大规模开源对抗攻击数据集PHANTOM，涵盖10个高级类别和55个子类别的有害意图，包含47,524个对抗样本，旨在降低对抗研究门槛，促进VLM鲁棒性和安全性的系统评估。

Comments The dataset has been released at: https://huggingface.co/datasets/it4lia/PHANTOM