视觉大模型 / VLM

VLM as Strategist: Adaptive Generation of Safety-critical Testing Scenarios via Guided Diffusion

VLM作为策略家：通过引导扩散实现安全关键测试场景的自适应生成

Xinzheng Wu, Junyi Chen, Naiting Zhong, Yong Shen

机构 * School of Automotive Studies, Tongji University（同济大学汽车研究学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision language model(abstract)；分类 cs.LG

AI总结 本文提出一种结合VLM和引导扩散模型的框架，用于高效生成安全关键测试场景，提升自动驾驶系统的测试效率和安全性。

Comments 25 pages, 9 figures

Journal ref Accident Analysis & Prevention Volume 236, October 2026, 108680

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

对抗风格优化：通过基于GRPO的风格触发优化增强VLM越狱

Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Harbin Engineering University（哈尔滨工程大学） ； Shandong University（山东大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.AI

AI总结 研究MLLMs安全对齐易受越狱攻击问题，提出基于GRPO的对抗风格优化（ASO）方法，通过优化风格触发增强视觉越狱，实验证明该方法显著提高攻击成功率，凸显风格偏差对MLLMs红队测试的作用。

Comments Accepted by CVPR 2026 (Oral)

Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models

高质量文本，稳健视觉：语言在增强视觉语言模型视觉稳健性中的作用

Futa Waseda, Saku Sugawara, Isao Echizen

机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（日本信息处理研究所） ； The University of Tokyo, National Institute of Informatics（东京大学、日本信息处理研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 研究针对视觉语言模型对抗攻击问题，提出质量文本引导的对抗微调方法QT-AFT，利用高质量字幕提升视觉编码器对抗鲁棒性，在多个零样本数据集上实现了最先进的零样本对抗鲁棒性和纯净准确率，并揭示了语言增强视觉鲁棒性的关键见解。

Comments ACMMM 2025 Accepted. Codes are available at: https://github.com/futakw/QTAFT