视觉大模型 / VLM

Dynamic Adversarial Reinforcement Learning for Robust Multimodal Large Language Models

动态对抗强化学习用于鲁棒多模态大语言模型

Yicheng Bao, Xuhong Wang, Qiaosheng Zhang, Chaochao Lu, Xia Hu, Xin Tan

机构 * East China Normal University（东华大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AOT方法，通过对抗训练提升多模态大语言模型的鲁棒性和可靠性。

Logit-Level Uncertainty Quantification in Vision-Language Models for Histopathology Image Analysis

视觉-语言模型在病理图像分析中的logit级不确定性量化

Betul Yurdem, Ferhat Ozgur Catak, Murat Kuzlu, Mehmet Kemal Gullu

机构 * Department of Electrical and Electronics Engineering, Izmir Bakircay University（电气与电子工程系，伊兹密尔巴克伊大学） ； Department of Electrical Engineering and Computer Science, University of Stavanger（电气工程与计算机科学系，斯塔万格大学） ； Batten College of Engineering and Technology, Old Dominion University（工程与技术学院，老奥布良大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.LG

AI总结 本研究提出了一种基于VLMs的logit级不确定性量化框架，用于评估病理图像分析中模型的可靠性与安全性。

Comments 10 pages, 6 figures, 4 tables

Benchmarking MLLM-based Web Understanding: Reasoning, Robustness and Safety

基于MLLM的网页理解基准测试：推理、鲁棒性与安全性

Junliang Liu, Jingyu Xiao, Wenxin Tang, Zhixian Wang, Zipeng Xie, Wenxuan Wang, Minrui Zhang, Shuanghe Yu

机构 * Dalian Maritime University（大连海事大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Xi'an Jiaotong University（西安交通大学） ； Renmin University of China（中国人民大学） ； Wuhan University（武汉大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出WebRRSBench基准测试，评估多模态大语言模型在网页理解中的推理、鲁棒性和安全性能力，揭示模型在复杂交互任务中的不足。

Scalable Evaluation of the Realism of Synthetic Environmental Augmentations in Images

可扩展性评估合成环境增强图像的真实性

Damian J. Ruck, Paul Vautravers, Oliver Chalkley, Jake Thomas

机构 * Advai Ltd（Advai有限公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种可扩展框架，用于评估合成环境增强图像的真实性，发现生成式AI在大多数条件下优于基于规则的方法。

Cognition to Control - Multi-Agent Learning for Human-Humanoid Collaborative Transport

认知到控制 - 多智能体学习用于人-仿人协作运输

Hao Zhang, Ding Zhao, H. Eric Tseng

机构 * Department of Electrical Engineering, the University of Texas at Arlington（电气工程系，德克萨斯大学阿灵顿分校） ； Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；grounding(abstract)；分类 cs.AI

AI总结 本研究提出认知到控制框架，通过多智能体强化学习实现人-仿人协作运输中的持续推理与稳定控制。

Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks

双模多阶段对抗安全训练：增强多模态网络代理对跨模态攻击的鲁棒性

Haoyu Liu, Dingcheng Li, Lukas Rutishauser, Zeyu Zheng

机构 * UC Berkeley, IEOR & BAIR（伯克利大学） ； Google（谷歌） ； Google Deepmind（谷歌DeepMind） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；分类 cs.AI、cs.LG

AI总结 DMAST通过三阶段对抗训练提升多模态网络代理对跨模态攻击的鲁棒性，显著提高任务完成效率并优于现有防御方法。

Image-based Prompt Injection: Hijacking Multimodal LLMs through Visually Embedded Adversarial Instructions

基于图像的提示注入：通过视觉嵌入的对抗性指令劫持多模态大语言模型

Neha Nagaraja, Lan Zhang, Zhilong Wang, Bo Zhang, Pawan Patil

机构 * Northern Arizona University（北亚利桑那大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究提出基于图像的提示注入攻击方法，通过视觉嵌入对抗性指令，成功操控多模态大语言模型输出，揭示了该攻击的有效性和潜在威胁。

Comments 7 pages, published in 2025 3rd International Conference on Foundation and Large Language Models (FLLM), Vienna, Austria

Journal ref 2025 3rd International Conference on Foundation and Large Language Models (FLLM), Vienna, Austria, 2025, pp. 916-922

Beyond Accuracy: What Matters in Designing Well-Behaved Image Classification Models?

超越准确率：设计良好行为图像分类模型所关注的问题

Robin Hesse, Doğukan Bağcı, Bernt Schiele, Simone Schaub-Meyer, Stefan Roth

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文研究了图像分类模型在鲁棒性、校准和公平性等质量维度上的表现，提出QUBA指标以评估和推荐模型。

Comments Published in TMLR (01/2026) | OpenReview: https://openreview.net/forum?id=E7HDtLCoT6 | Project page: https://visinf.github.io/beyond-accuracy/

Safety Guardrails for LLM-Enabled Robots

LLM赋能机器人中的安全护栏

Zachary Ravichandran, Alexander Robey, Vijay Kumar, George J. Pappas, Hamed Hassani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 RoboGuard通过两阶段护栏架构，利用根信任LLM和链式推理生成上下文安全规范，有效降低LLM赋能机器人在对抗攻击下的不安全计划执行率，提升系统安全性与可靠性。