多模态大模型

Task-Focused Memorization for Multimodal Agents

面向多模态智能体的任务聚焦记忆

Tao Zou, Yichen He, Tian Qiu, Yuan Lin, Hang Li

机构 * Fudan University（复旦大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出基于强化学习的任务聚焦记忆策略学习框架TaskMem，通过两阶段训练使多模态智能体在流式观测中动态选择任务相关记忆，在三个流式基准上VQA准确率提升5.3%-7.0%。

EMBGuard: Constructing Hazard-Aware Guardrails for Safe Planning in Embodied Agents

EMBGuard：为具身智能体安全规划构建危险感知护栏

Dongwook Choi, Taeyoon Kwon, Bogyung Jeong, Minju Kim, Yeonjun Hwang, Hyojun Kim, Byungchul Kim, Young Kyun Jang, Jinyoung Yeo

机构 * Independent Researcher（独立研究者） ； Department of Biomedical Engineering（生物医学工程系） ； the Department of Intelligent Precision Healthcare Convergence, Sungkyunkwan University（智能精准医疗融合系，全州大学） ； Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学） 纠错

专题命中 多模态Agent ：MLLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出首个基于MLLM的具身安全护栏EMBGuard，通过解耦物理风险推理与智能体策略，评估（视觉观察，动作）对来识别危险配置并提供自然语言解释，同时构建训练数据集EMBHazard和基准测试EMBGuardTest，在紧凑模型尺寸下达到与专有MLLM竞争的性能并降低误报率。

Comments Accepted at ICML 2026

PInVerify: An Offline Embodied Benchmark for Active Instance Verification

PInVerify：面向主动实例验证的离线具身基准

Yuhang Jiang

机构 * University of Trento（特伦托大学） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出主动实例验证任务，构建离线具身基准PInVerify，通过多视角导航和细粒度属性匹配评估具身智能体，并基于多模态大语言模型建立基线。

Comments Accepted as a poster at the Foundation Models Meet Embodied Agents (FMEA) Workshop, CVPR 2026. 44 pages including appendix. Code: https://github.com/Avalon-S/PInVerify

Detect in Any Scene: An Agentic Framework for Object Detection with Experience-Aware Reasoning

任意场景检测：一种具有经验感知推理的目标检测智能体框架

Wenlun Zhang, Jun Yin, Kentaro Yoshioka

机构 * Keio University（Keio大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出DetAS/DetAS-X智能体框架，利用多模态大语言模型自适应组合恢复模块和专用检测器，通过自进化经验积累实现经验感知推理，在六个基准上平均F1提升28.36%。

iVGR: Internalizing Visually Grounded Reasoning for MLLMs with Reinforcement Learning

iVGR: 通过强化学习将视觉基础推理内化到多模态大语言模型中

Chang-Bin Zhang, Yujie Zhong, Qiang Zhang, Kai Han

机构 * Visual AI Lab, The University of Hong Kong（香港大学视觉人工智能实验室） ； Independent Researcher（独立研究者） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出iVGR框架，利用强化学习和双流训练策略将视觉定位能力内化到文本推理中，避免显式视觉基础在推理时的干扰，提升细粒度感知性能。

Comments Accepted by ICML 2026

DGSG-Mind: Dynamic 3D Gaussian Scene Graphs for Long-Term Scene Understanding and Grounding

DGSG-Mind：用于长期场景理解与定位的动态3D高斯场景图

Luzhou Ge, Xiangyu Zhu, Jinyan Liu, Xuesong Li

机构 * School of Computer Science, Beijing Institute of Technology, China（北京理工大学计算机科学学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出DGSG-Mind，一种混合实例感知的3D高斯动态场景图系统，通过概率体素网格与显式3D高斯结合实现鲁棒的跨模态实例融合和增量语义映射，并构建层次化场景图与3D高斯思维进行多模态推理，在零样本3D视觉定位、开放词汇语义分割和场景重建中取得领先性能。

Comments 9 pages, 6 figures

Does Visual Information Play a Decisive Role in Vision-Language-Action Model Driving Behavior?

视觉信息在视觉-语言-动作模型驾驶行为中是否起决定性作用？

Jingtao He, Hongliang Lu, Xiaoyun Qiu, Yixuan Wang, Xinhu Zheng

机构 * Intelligent Transportation Thrust, The Hong Kong University of Science and Technology (Guangzhou)（科技与交通智能 thrust，香港科学与技术大学（广州）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出结构化多级视觉扰动框架，系统分析VLA驾驶模型对视觉信息的依赖程度，揭示依赖模式随评估方式变化且在不同抽象层次上不均匀。

Seeing Before Agreeing: Aligning Multi-Agent Consensus with Visual Evidence

先见后议：用视觉证据对齐多智能体共识

Yuhan Wang, Shuochen Chang, Yalin Feng, Dongsheng Ma, Yuanzi Li, Zhengren Wang, Yinglong Yang, Yufei Chen, Yikang Wang, Shaoxu Sun, Wentao Zhang

机构 * Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Renmin University of China（中国人民大学） ； Shandong University（山东大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出EAGLE框架，通过显式暴露各智能体的视觉证据区域并相互验证，实现无需训练的多智能体视觉问答协作，提升共识可靠性。

Learning to Adapt: Self-Improving Web Agent via Cognitive-Aware Exploration

学习适应：通过认知感知探索实现自我改进的网络智能体

Weile Chen, Bingchen Miao, Qifan Yu, Wendong Bu, Guoming Wang, Wenqiao Zhang, Shengyu Zhang, Juncheng Li, Siliang Tang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出SCALE框架，利用选择器、预测器和评判器三个对抗角色，通过环境探索自主发现智能体局限性并扩展认知边界，结合SCALE-Hop图探索策略和SCALE-20k数据集，显著提升多模态大语言模型在多种网络环境中的性能和泛化能力。

Comments 24 pages

SpaMEM: Benchmarking Dynamic Spatial Reasoning via Perception-Memory Integration in Embodied Environments

SpaMEM：具身环境中通过感知-记忆集成进行动态空间推理的基准测试

Chih-Ting Liao, Xi Xiao, Chunlei Meng, Zhangquan Chen, Yitong Qiao, Weilin Zhou, Tianyang Wang, Xu Zheng, Xin Cao

机构 * The University of New South Wales（新南威尔士大学） ； The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Xinjiang University（新疆大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出SpaMEM基准，通过动作条件场景变换和多模态数据，分层评估多模态大模型在具身环境中的空间信念演化能力，揭示坐标一致性和视觉记忆瓶颈。

A Theory-Guided LLM Pedagogical Agent for STEM+C Scaffolding Without Over-Reliance

理论引导的LLM教学代理：用于STEM+C支架式教学，避免过度依赖

Clayton Cohn, Surya Rayala, Siyuan Guo, Hanchen David Wang, Naveeduddin Mohammed, Umesh Timalsina, Shruti Jain, Ryan Li, Angela Eeds, Menton Deweese, Pamela J. Osborn Popp, Rebekah Stanton, Shakeera Walker, Ashwin T S, Meiyi Ma, Gautam Biswas

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出基于证据-决策-反馈框架的多智能体协作代理Copa，结合社会认知理论与社会建构主义，通过自适应对话支持促进STEM+C学习，实验证明其能增强学生信心和概念表达能力而不导致依赖。

Comments Submitted to Computers & Education. Currently under review

Learning-to-Defer with Expert-Conditional Advice

基于专家条件建议的学习-延迟决策

Yannis Montreuil, Leïna Montreuil, Axel Carlier, Lai Xing Ng, Wei Tsang Ooi

机构 * School of Computing（计算学院） ； Département de Mathématiques（数学系） ； National University of Singapore（新加坡国立大学） ； Sorbonne University（索邦大学） ； Fédération ENAC（ENAC联合会） ； ISAE-SUPAERO ； ONERA ； Agency for Science, Technology and Research（科技研究局） ； Université de Toulouse（图卢兹大学） ； Institute for Infocomm Research（信息与通信研究所） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 研究在决策时可为专家提供额外信息（建议）的延迟学习问题，提出一种在复合专家-建议动作空间上的增广替代损失，并证明其一致性保证和最优策略恢复能力。