视觉大模型 / VLM

SpaceMind: A Modular and Self-Evolving Embodied Vision-Language Agent Framework for Autonomous On-orbit Servicing

SpaceMind：一种模块化且自我进化的具身视觉-语言代理框架，用于自主在轨服务

Aodi Wu, Haodong Han, Xubo Luo, Ruisuo Wang, Shan He, Xue Wan

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间利用技术与工程中心） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 本文提出SpaceMind框架，通过模块化和自我进化机制，实现自主在轨服务中的视觉感知、三维空间推理和多阶段任务执行，验证了其在不同环境下的鲁棒性和适应性。

Comments 23 pages, 6 figures, 7 tables. Code available at https://github.com/wuaodi/SpaceMind

Failure Identification in Imitation Learning Via Statistical and Semantic Filtering

通过统计和语义过滤进行模仿学习中的故障识别

Quentin Rolland, Fabrice Mayran de Chamisso, Jean-Baptiste Mouret

机构 * Université Paris-Saclay, CEA, List（巴黎-萨克雷大学，CEA，List） ； Inria, CNRS, Université de Lorraine, LORIA（Inria，CNRS，洛林大学，LORIA） ； Bleu Robotics（Bleu机器人） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出FIDeL模块，结合统计和语义过滤技术，提升机器人模仿学习中的故障检测性能，通过多模态数据集BotFails验证其有效性。

Comments 8 pages, Appendix coming soon, accepted at ICRA 2026

Integration of Object Detection and Small VLMs for Construction Safety Hazard Identification

对象检测与小型视觉语言模型的整合用于建筑安全危险识别

Muhammad Adil, Mehmood Ahmed, Muhammad Aqib, Vicente A. Gonzalez, Gaang Lee, Qipei Mei

机构 * Infrastructure Human Tech (IHT) Lab, Department of Civil and Environmental Engineering, University of Alberta, Edmonton, Alberta, Canada（基础设施人类技术（IHT）实验室，土木与环境工程系，阿尔伯塔大学，埃德蒙顿，阿尔伯塔，加拿大） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；InternVL(abstract)；分类 cs.CV

AI总结 本文提出了一种结合对象检测与多模态推理的轻量级框架，以提高建筑工地安全危险识别的准确性和效率，实验表明该方法在多个小型视觉语言模型上均提升了检测性能和解释质量。

SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation

SAGE：面向sink的 grounded 解码用于多模态幻觉缓解

Tripti Shukla, Zsolt Kira

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 SAGE通过动态调节自注意力机制，实时监控 grounding 可靠性，有效缓解多模态幻觉问题，实验显示在MSCOCO和AMBER基准上取得显著提升。

Comments 25 pages, 6 figures, 7 tables

When to Think and When to Look: Uncertainty-Guided Lookback

何时思考，何时回顾：不确定性引导的回顾

Jing Bi, Filippos Bellos, Junjia Guo, Yayuan Li, Chao Huang, Yolo Y. Tang, Luchuan Song, Susan Liang, Zhongfei Mark Zhang, Jason J. Corso, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； University of Michigan（密歇根大学） ； Binghamton University（宾汉姆顿大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文探讨了在大视觉语言模型中思考与回顾的平衡，提出不确定性引导的回顾策略，通过大规模对比实验提升MMMU性能，并在多个基准上取得新突破。

Comments Accepted to CVPR 2026

Seeing is Believing: Belief-Space Planning with Foundation Models as Uncertainty Estimators

Linfeng Zhao, Willie McClinton, Aidan Curtis, Nishanth Kumar, Tom Silver, Leslie Pack Kaelbling, Lawson L. S. Wong

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.AI

Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation

Yunhao Gou, Kai Chen, Zhili Liu, Lanqing Hong, Hang Xu, Zhenguo Li, Dit-Yan Yeung, James T. Kwok, Yu Zhang

专题命中 幻觉与鲁棒性 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments ECCV2024 (Project Page: https://gyhdog99.github.io/projects/ecso/)

Image Hijacks: Adversarial Images can Control Generative Models at Runtime

Luke Bailey, Euan Ong, Stuart Russell, Scott Emmons

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.LG

Comments Project page at https://image-hijacks.github.io

OODBench: Out-of-Distribution Benchmark for Large Vision-Language Models

OODBench: 用于大型视觉-语言模型的分布外基准

Ling Lin, Yang Bai, Heng Su, Congcong Zhu, Yaoxing Wang, Yang Zhou, Huazhu Fu, Jingrun Chen

机构 * University of Science and Technology of China ； Suzhou Institute for Advanced Research, USTC ； Key Laboratory of the Ministry of Education for Mathematical Foundations ； Unmanned System Research Institute, Northwestern Polytechnical University 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV、cs.AI

AI总结 OODBench提出了一种自动化方法，用于构建评估大型视觉-语言模型处理分布外数据能力的基准，并展示了当前模型在面对此类数据时的性能下降。

Comments 54 pages, 21 figures

Passive Construction Site Safety Monitoring via Persona-Scaffolded Adversarial Chain-of-Thought VLM Verification

通过基于人设的对抗性链式思考视觉语言模型验证实现被动施工现场安全监控

Ananth Sriram, Neel Mokaria, Rajveer Singh

机构 * Department of Computer Science, University of Maryland, College Park, MD, USA（大学马里兰学院计算机科学系，马里兰州科利尔帕克，MD，美国） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title)；分类 cs.CV、cs.AI

AI总结 本文提出了一种被动的施工现场安全监控方法，通过三阶段架构处理视频数据，结合细调的YOLO11、SAM 3和Qwen3-VL-8B-Instruct模型，利用基于人设的对抗性链式思考协议提高合规性验证和幻觉控制，主要贡献是第三阶段提示设计，提升了12%的精度。

Comments 10 pages, 4 figures. First place, Ironsite.ai Spatial Intelligence Hackathon, University of Maryland, February 2026. Code available at https://github.com/ananthsriram1/ironsite-hackathon-project-safety_assistant

Hard to Read, Easy to Jailbreak: How Visual Degradation Bypasses MLLM Safety Alignment

难以阅读，却容易被破解：视觉退化如何绕过大语言模型的安全对齐

Zhixue Song, Boyan Han, Yiwei Wang, Chi Zhang

机构 * AGI Lab, Westlake University, China（西lake大学AGI实验室，中国） ； University of California, Merced, USA（加州大学默塞德分校，美国） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(title)；分类 cs.CV、cs.AI

AI总结 研究发现视觉退化会削弱大语言模型的安全防御，提出结构化认知卸载策略以缓解风险。

Comments Accepted to Findings of ACL 2026

Quantifying and Improving the Robustness of Retrieval-Augmented Language Models Against Spurious Features in Grounding Data

量化并提升检索增强语言模型对基础数据中虚假特征的鲁棒性

Shiping Yang, Jie Wu, Wenbiao Ding, Ning Wu, Shining Liang, Ming Gong, Hongzhi Li, Hengyuan Zhang, Angel X. Chang, Dongmei Zhang

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Microsoft（微软） ； Atlassian ； Tongji University（同济大学） ； The University of Hong Kong（香港大学） ； Canada-CIFAR AI Chair, Amii（加拿大-CIFAR人工智能主席，Amii） 纠错

专题命中 幻觉与鲁棒性 ：grounding(title)；分类 cs.AI、cs.LG

AI总结 本文研究检索增强语言模型对基础数据中虚假特征的鲁棒性问题，提出SURE框架用于量化和提升鲁棒性，分析虚假特征在RAG领域的广泛性与挑战性。

Comments ACL 2026 camera-ready version

Multimodal Adversarial Defense for Vision-Language Models by Leveraging One-To-Many Relationships

通过利用一对一关系进行多模态对抗防御以提升视觉语言模型

Futa Waseda, Antonio Tejero-de-Pablos, Isao Echizen

机构 * The University of Tokyo（东京大学） ； CyberAgent ； National Institute of Informatics（信息处理研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV、cs.AI

AI总结 本文提出多模态对抗训练方法，通过利用图像与文本之间的一对多关系提升视觉语言模型的对抗鲁棒性。

Comments WACV 2026 Accepted. Code available at https://github.com/CyberAgentAILab/multimodal-adversarial-training

VisMoDAl: Visual Analytics for Evaluating and Improving Corruption Robustness of Vision-Language Models

Huanchen Wang, Wencheng Zhang, Zhiqiang Wang, Zhicong Lu, Yuxin Ma

机构 * Southern University of Science and Technology（南方科技大学） ； City University of Hong Kong（香港城市大学） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.AI、cs.LG

Comments 11 pages, 7 figures, 1 table, accepted to IEEE VIS 2025 (IEEE Transactions on Visualization and Computer Graphics)

Confidence-calibrated covariate shift correction for few-shot classification in Vision-Language Models

Behraj Khan, Rizwan Qureshi, Nouman Muhammad Durrani, Tahir Syed

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV、cs.LG

Vision-Language Models for Autonomous Driving: CLIP-Based Dynamic Scene Understanding

Mohammed Elhenawy, Huthaifa I. Ashqar, Andry Rakotonirainy, Taqwa I. Alhadidi, Ahmed Jaber, Mohammad Abu Tami

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV、cs.AI

Few-Shot Adversarial Prompt Learning on Vision-Language Models

Yiwei Zhou, Xiaobo Xia, Zhiwei Lin, Bo Han, Tongliang Liu

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV、cs.LG

Comments NeurIPS 2024

Adventures of Trustworthy Vision-Language Models: A Survey

Mayank Vatsa, Anubhooti Jain, Richa Singh

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV、cs.AI

Comments Accepted in AAAI 2024

GIVL: Improving Geographical Inclusivity of Vision-Language Models with Pre-Training Methods

Da Yin, Feng Gao, Govind Thattai, Michael Johnston, Kai-Wei Chang

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV、cs.AI

Task Bias in Vision-Language Models

Sachit Menon, Ishaan Preetam Chandratreya, Carl Vondrick

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV、cs.LG

Comments First two authors contributed equally

Grounding Aleatoric Uncertainty for Unsupervised Environment Design

Minqi Jiang, Michael Dennis, Jack Parker-Holder, Andrei Lupu, Heinrich Küttler, Edward Grefenstette, Tim Rocktäschel, Jakob Foerster

专题命中 幻觉与鲁棒性 ：grounding(title)；分类 cs.AI、cs.LG

Comments NeurIPS 2022

Knowing When to Ask: Resolving Uncertainty in Human-Robot Joint Planning via Explicit Dialogue and Implicit Intent Cues

不确定性缓解与意图推断：一种双模式人机联合规划系统

Zeyu Fang, Yuxin Lin, Cheng Liu, Beomyeol Yu, Zeyuan Yang, Rongqian Chen, Taeyoung Lee, Mahdi Imani, Tian Lan

机构 * Department of Electrical and Computer Engineering, George Washington University（电气与计算机工程系，乔治华盛顿大学） ； Department of Mechanical and Aerospace Engineering, George Washington University（机械与航空航天工程系，乔治华盛顿大学） ； Department of Electrical and Computer Engineering, Northeastern University（电气与计算机工程系，东北大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出一种双模式人机联合规划系统，通过缓解不确定性与推断意图，提升人机协作效率。

Try Once, Then Optimal: De-Redundified Procedure Memory for Cross-Episode Exploration Amortization

一试即优：用于跨情节探索摊销的去冗余过程记忆

Haizhou Ge, Haochen Ouyang, Zhixing Chen, Yufei Jia, Yue Li, Lu Shi, Lei Han, Guyue Zhou, Ruqi Huang

机构 * Tsinghua University（清华大学） ； DISCOVER Robotics（DISCOVER机器人公司） ； Northeast Agricultural University（东北农业大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 研究如何让机器人避免重复探测隐藏状态物体，提出面向实例的记忆框架IOM，用视觉语言模型实例化，在多任务中减少操纵操作，提升效率且不降低成功率，即使过程错误也能成功。

Comments 8 pages, 3 figures, 3 tables

Multi-modal Rail Crossing Safety Analysis

多模态铁路道口安全分析

Paimon Goulart, Chansong Lim, Nícolas Roque dos Santos, Yue Dong, Sheldon Peterson, Jia Chen, Evangelos E. Papalexakis

机构 * University of California, Riverside（加州大学河滨分校） ； Riverside County Transportation Commission（河滨县交通委员会） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出多模态管道，利用视觉线索和事故报告评估铁路道口安全，基于FRA评分实现高风险/低风险分类（F1=0.757）和分数估计（RMSE=0.078）。

Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents

从失败中学习：计算机使用代理的推理时自我改进

Xueqiao Sun, Xiaohan Wang, Ludwig Schmidt, Serena Yeung-Levy, Yuhui Zhang

机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出失败驱动的自我改进循环，利用LLM诊断失败模式并生成代码补丁，在OSWorld基准上将OpenCUA-72B模型成功率从42.3%提升至48.9%，无需额外训练成本。

Comments Published in ECCV 2026

World Value Models for Robotic Manipulation

机器人操作的世界价值模型

Zhihao Wang, Jianxiong Li, Yu Cui, Yuan Gao, Xianyuan Zhan, Junzhi Yu, Xiao Ma

机构 * Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出世界价值模型（WVM），融合世界模型与价值估计，通过时序建模评估数据质量，在标准基准和次优轨迹基准上达到SOTA，提升策略学习性能。

Comments preprint

Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients

近端策略优化区域：教师存在于提示中，而非梯度中

Byung-Kwan Lee, Ximing Lu, Shizhe Diao, Minki Kang, Saurav Muralidharan, Karan Sapra, Andrew Tao, Pavlo Molchanov, Yejin Choi, Yu-Chiang Frank Wang, Ryo Hachiuma

机构 * NVIDIA（英伟达） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出ZPPO方法，通过将教师知识注入提示而非策略梯度，解决小模型知识蒸馏中教师梯度主导和强化学习策略漂移问题，在多种规模模型上超越现有方法。

Comments Project page: https://byungkwanlee.github.io/ZPPO-page/

KSAFE-MM: A Multimodal Safety Benchmark via Localized Contextualization for Korean Cultural Risks

KSAFE-MM：通过本地化语境化实现韩国文化风险的多模态安全基准

Yongwoo Kim, Sojung An, Yunjin Park, Jungwon Yoon, Dujin Lee, HyunBeom Cho, Jaewon Lee, Wonhyuk Lee, Youngchol Kim, JeongYeop Kim, Donghyun Kim

机构 * Korea University（韩国大学） ； KT Corporation（KT公司） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 针对多模态大语言模型在安全评估中缺乏文化特异性问题，提出KSAFE-MM基准，通过语言和视觉语境化构建通用与韩国文化特有的多模态安全测试集，揭示模型对文化攻击的脆弱性及安全性与过度拒绝之间的权衡。

Real2Sim via Active Perception with Behavior Trees Automatically Generated by VLMs

通过主动感知与行为树自动生成功能的Real2Sim

Alessandro Adami, Sebastian Zudaire, Ruggero Carli, Pietro Falco

机构 * University of Padova, Dept. of Information Engineering（帕多瓦大学信息工程系） ； ABB Robotics（ABB机器人） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出一种基于视觉语言模型的自主Real2Sim框架，通过分解语义任务，自动生成行为树以高效获取物理参数，实验证明其在效率和安全性上的优势。

Robust and Resilient Soft Robotic Object Insertion with Compliance-Enabled Contact Formation and Failure Recovery

具有合规性接触形成和故障恢复的鲁棒且具有弹性的软机器人物体插入

Mimo Shirasaka, Cristian C. Beltran-Hernandez, Masashi Hamaya, Yoshitaka Ushiku

机构 * OMRON SINIC X Corporation（OMRON SINIC X公司） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出了一种基于合规性腕部的物体插入方法，通过大变形吸收接触，实现安全接触形成和故障恢复，实验显示在随机条件下成功率高达83%。