视觉大模型 / VLM

Automating Potential-based Reward Shaping with Vision Language Model Guidance

基于视觉语言模型引导的势能奖励塑形自动化

Henrik Müller, Daniel Kudenko

机构 * L3S Research Center Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心） 纠错

专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出VLM-PBRS框架，利用轻量级视觉语言模型的偏好学习势能函数，实现自动化奖励塑形，保证最优策略不变，提升样本效率并避免奖励黑客。

RigPI: Dynamic Parameter Identification of Rigid Body via VLM-Seeded Differentiable Simulation

RigPI: 通过VLM种子可微仿真进行刚体动力学参数辨识

Xincheng He, Rongrong Zhang, Wei Jiang, Wenqiang Xu

机构 * Way-Robotics（Way-机器人） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)

AI总结 提出RigPI框架，结合视觉语言模型初始化和可微物理仿真梯度优化，两步策略实现刚体与多连杆刚体动力学参数精确辨识，实验验证了其鲁棒性和预测有效性。

Comments Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2027)

Event-Adaptive Motion Planning with Distilled Vision-Language Model in Safety-Critical Situations

安全关键场景下基于蒸馏视觉语言模型的事件自适应运动规划

Zhenwei Huang, Changsheng You, Shuai Wang, Chao Zhou, Wei Xu, Yi Gong

机构 * Southern University of Science and Technology（南方科技大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Manifold Tech Limited（曼孚科技股份有限公司） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 提出事件自适应运动规划（EAMP）框架，通过可配置语义事件触发器、蒸馏视觉语言模型和语义模型预测控制，在安全关键场景中实现高层推理与底层控制的协同，提升动态安全裕度并保持实时性。

Comments 8 pages, 8 figures, 4 tables. Accepted by IROS 2026

6 Fingers, 1 Kidney: Natural Adversarial Medical Images Reveal Critical Weaknesses of Vision-Language Models

6根手指，1个肾脏：自然对抗性医学图像揭示视觉语言模型的关键弱点

Leon Mayer, Piotr Kalinowski, Caroline Ebersbach, Marcel Knopp, Tim Rädsch, Evangelia Christodoulou, Annika Reinke, Fiona R. Kolbinger, Lena Maier-Hein

机构 * German Cancer Research Center (DKFZ) Heidelberg, Division of Intelligent Medical Systems（德国癌症研究中心（DKFZ）海德堡，智能医学系统部门） ； Medical Faculty, Heidelberg University（海德堡大学医学院） ； Faculty of Mathematics and Computer Science, Heidelberg University（海德堡大学数学与计算机科学学院） ； HIDSS4Health - Helmholtz Information and Data Science School for Health, Karlsruhe/Heidelberg（HIDSS4Health - 哈勃-马克斯信息与数据科学健康学院，卡尔斯鲁厄/海德堡） ； Helmholtz Imaging, German Cancer Research Center (DKFZ)（哈勃-马克斯成像，德国癌症研究中心（DKFZ）） ； Engineering Faculty, Heidelberg University（海德堡大学工程学院） ； School of Computation, Information and Technology, TUM（技术大学（TUM）计算、信息与技术学院） ； Weldon School of Biomedical Engineering, Purdue University（普渡大学韦尔登生物医学工程学院） ； Department of Visceral, Thoracic and Vascular Surgery, University Hospital and Faculty of Medicine Carl Gustav Carus, TUD Dresden University of Technology（visceral、胸腔和血管外科部门，技术大学（TUD）德累斯顿大学医院和医学院） ； National Center for Tumor Diseases (NCT), NCT Heidelberg, a partnership between DKFZ and University Hospital Heidelberg（肿瘤疾病国家中心（NCT），海德堡NCT，DKFZ与海德堡大学医院之间的合作） ； Heidelberg University Hospital, Surgical Clinic, Surgical AI Research Group（海德堡大学医院，外科诊所，外科人工智能研究组） ； Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI), Abu Dhabi, UAE（Mohamed Bin Zayed人工智能大学（MBZUAI），阿布扎赫，阿拉伯联合酋长国） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出AdversarialAnatomyBench基准，测试25个视觉语言模型在罕见解剖变异上的表现，发现准确率从71%降至28%，且模型缩放和干预无法解决。

Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models

通过层间一致性聚合缓解大型视觉-语言模型中的幻觉

Kai Tang, Jinhao You, Yichen Guo, Yiding Sun, Dongxu Zhang, Wenya Wang, Hanze Li, Tao Luo, Renyuan Li, Xiande Huang, Shanghang Zhang

机构 * Peking University（北京大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； University of Electronic Science and Technology of China（电子科技大学） ； De Artificial Intelligence Lab（人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出训练无关的解码方法DCLA，通过聚合前层表示构建动态语义参考并纠正语义偏差层，增强层间一致性，在多个LVLM和基准上显著降低幻觉。

Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

跨模态对抗扩散：文本、视觉与视觉-语言模型的攻击、防御与评估融合综述

Abrar Alotaibi, Moataz Ahmed

机构 * Information and Computer Science Department, King Fahd University of Petroleum & Minerals（国王法赫德石油矿物大学信息与计算机科学系） ； College of Computer Science and Information Technology, Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·法伊塞尔大学计算机科学与信息科技学院） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum & Minerals（SDAIA-KFUPM人工智能联合研究中心，国王法赫德石油矿物大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)

AI总结 本文整合了文本、图像分类器和视觉-语言模型上的对抗攻击与防御研究，提出统一分类法和评估框架，并识别了当前文献中的五个常见弱点。

GeMoE: Gating Entropy is All You Need for Uncertainty-aware Adaptive Routing in MoE-based Large Vision-Language Models

GeMoE：基于门控熵的MoE大视觉语言模型中不确定性感知自适应路由

Chaoxiang Cai, Minghe Weng, Jie Li, Yibo Jiang, Longrong Yang, Zequn Qin, Xi Li

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；分类 cs.CV

AI总结 针对MoE架构中静态路由无法自适应选择专家的问题，提出基于门控熵的不确定性感知自适应路由方法GeMoE，通过最小描述长度原理建模复杂度与性能的权衡，在保持99.5%性能的同时提升36.5%专家激活稀疏性。

Risk-Aware Selective Multimodal Driver Monitoring with Driver-State World Modeling

风险感知的选择性多模态驾驶员监控与驾驶员状态世界建模

Daosheng Qiu, Haozhuang Chi, Hao Su, Shu Long, Xinyue Miao, Yongle Dong, Wei Zhang

机构 * Hubei University（湖北大学） ； Nanyang Technological University（南洋理工大学） ； Osaka University（大阪大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

AI总结 提出成本感知的选择性推理框架，结合轻量级RGB-生理学生网络和门控机制，在低延迟下减少不安全决策，实现可部署的多模态驾驶员监控。

DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues

DiCoBench: 通过差异性和共性视觉线索进行多图像细粒度感知的基准测试

Geng Li, Yuxin Peng

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 提出DiCoBench，一个包含765个样本的高分辨率多图像基准，通过差异性和共性视觉线索评估多模态大模型的细粒度感知能力，发现顶尖模型与人类准确率（98.3%）差距显著。

Comments Accepted by ECCV 2026. Project page with code: https://github.com/PKU-ICST-MIPL/DICO_Bench_ECCV2026

ForesightSafety-VLA: A Unified Diagnostic Safety Benchmark for Vision-Language-Action Models

ForesightSafety-VLA：视觉-语言-动作模型的统一诊断安全基准

Mingyang Lyu, Yinqian Sun, Yiyang Jia, Sicheng Shen, Moquan Sha, Huangrui Li, Feifei Zhao, Yi Zeng

机构 * Brain-inspired Cognitive AI Lab, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所类脑认知智能实验室） ； Beijing Key Laboratory of Safe AI and Superalignment（北京市安全人工智能与超级对齐重点实验室） ； Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究所） ； Gaoling School of AI, Renmin University of China（中国人民大学高瓴人工智能学院） ； University of Chinese Academy of Sciences (UCAS)（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 提出ForesightSafety-VLA基准，通过13类安全分类和三维变量控制，诊断VLA模型在物理交互、指令和感知侧的安全风险，并引入累积安全成本和风险暴露时间等过程级指标。

Comments 8 pages, 5 figures, 4 tables. Submitted to IROS 2026

OmniContact: Chaining Meta-Skills via Contact Flow for Generalizable Humanoid Loco-Manipulation

OmniContact: 通过接触流链接元技能实现可泛化的人形移动操作

Runyi Yu, Xiaoyi Lin, Ji Ma, Yinhuai Wang, Koukou Luo, Jiahao Ji, Huayi Wang, Wenjia Wang, Runhan Zhang, Ping Tan, Ting Wu, Ruoli Dai, Qifeng Chen, Lei Han

机构 * Noitom Robotics（诺亦腾机器人） ； The Hong Kong University of Science and Technology（香港科技大学） ； Wuhan University（武汉大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract_cn)

AI总结 提出以接触流为核心的分层框架，通过低层策略学习统一技能库、高层模块合成未来接触流序列，实现人形机器人长时程任务的鲁棒执行与自主恢复，在搬运箱子和推叠箱子任务上分别达到98.7%和76.5%的成功率。