视觉大模型 / VLM

Enhancing Multimodal Large Language Models for Safety-Critical Driving Video Analysis

增强多模态大语言模型以用于安全关键驾驶视频分析

Tomaso Trinci, Henrique Piñeiro Monteagudo, Leonardo Taccari

机构 * Verizon Connect 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.LG

AI总结 本研究通过融合降采样视频帧与同步高频 telemetry 数据及专用计算机视觉模型的语义信息，提升多模态大语言模型在安全关键驾驶场景中的感知与推理能力，从而更准确地识别和描述现实驾驶中的安全关键事件。

Comments Accepted at the 2026 IEEE International Conference on Intelligent Transportation Systems (ITSC 2026)

On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

关于RL微调VLMs的鲁棒性和链式思维一致性

Rosie Zhao, Anshul Shah, Xiaoyu Zhu, Xinke Deng, Zhongyu Jiang, Yang Yang, Joerg Liebelt, Arnab Mondal

机构 * Apple（苹果公司） ； OpenAI 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.LG

AI总结 本文研究了RL微调VLMs在视觉推理任务中的鲁棒性和链式思维一致性，发现文本扰动和CoT不一致会显著降低模型的鲁棒性和信心，而闭源模型在保持鲁棒性和推理一致性方面表现更佳，指出这一差距源于当前开源RL微调的不足而非任务本身的限制。

Comments ICML 2026

Exposing Vulnerabilities in Visible-Infrared VLMs: A Unified Geometric Adversarial Framework with Cross-Task Transferability

揭示可见-红外VLMs中的漏洞：一种具有跨任务迁移性的统一几何对抗框架

Xiang Chen, Yuxian Dong, Chao Li, Chengyin Hu, Jiaju Han, Fengyu Zhang, Yiwei Wei, Jiahuan Long, Jiujiang Guo

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文针对可见-红外视觉语言模型在多模态任务中的对抗鲁棒性不足问题，提出了一种基于分形几何的对抗框架CFGPatch，通过引入曲边分形元素和Fraser螺旋渲染机制，有效攻击VLMs并展示出跨任务迁移能力。

Frequency-Domain Regularized Adversarial Alignment for Transferable Attacks against Closed-Source MLLMs

频域正则化对抗对齐用于针对闭源大语言模型的可转移攻击

Leitao Yuan, Qinghua Mao, Daizong Liu, Kun Wang, Wenjie Wang, Yan Teng, Jing Shao, Dongrui Liu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FRA-Attack，通过频域正则化方法解决对抗转移性问题，通过高通DCT目标和频率域梯度正则化提升跨模型的对抗转移能力。