多模态大模型

The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images

视觉工具使用的错觉：对图像思考的因果审查

Zhiheng Wang, Bo Peng, Lai Wei, Chaochao Lu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 多模态Agent ：multimodal(abstract,abstract_cn)；分类 cs.AI

AI总结 本文通过因果审查方法，发现多模态大语言模型的视觉工具使用存在“调用而不查看”“查看而不规划”等错觉，整体准确率增益下大量场景无因果效果。

SeekBrain: An Autonomous Multi-Agent System for Accelerating Neuroscience Discovery

SeekBrain：用于加速神经科学发现的自主多智能体系统

Jiamin Wu, Peishan Xiang, Jingyang Chen, Yuqing Zhu, Yuxi Li, Ling Luo, Qihao Zheng, Jialiang Zu, Yongchao Wu, Mindong Liu, Haitao Wu, Chaofan Hu, Yijie Sun, Yuqi Hang, Yu Zhu, Shuo Li, Yue Fan, Shiyang Feng, Wanghan Xu, Tianlei Zhang, Jie Zhang, Wenlong Zhang, Bo Zhang, Kai Wang, Lei Bai, Mianxin Liu, Wanli Ouyang, Jiulin Du, Chunfeng Song

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 SeekBrain是用于加速神经科学发现的自主多智能体框架，通过分层规划与跨模态分析生成分析流程，在BrainArena基准上优于现有智能体，实际研究中成功揭示了斑马鱼与小鼠的神经表征规律。

Agentic AI in medicine: architectures, applications, evaluation, and challenges for clinical translation

医学中的智能体人工智能：临床转化的架构、应用、评估及挑战

Zheng Tong, Yang Liu, Wanshu Fan, Jing Qin, Zhongbin Han, Haifan Gong, Congyu Liao, Xiaofeng Liu, Cong Wang

机构 * School of Software Engineering, Dalian University（大连大学软件工程学院） ； Affiliated Zhongshan Hospital of Dalian University（大连大学附属中山医院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of California, San Francisco（加州大学旧金山分校） ； Yale University（耶鲁大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 研究探讨医学中智能体人工智能的架构、应用等，通过范围审查筛选相关研究，指出其范围未定论且评估与临床需求不符，证据基础有限，临床转化需更清晰定义、可重复评估等。

Comments Review article, 6 figures, 2 tables. 42 pages

Multi-Agent Collaborative Reasoning with Tool-Augmented Evidence for Urban Region Profiling

基于工具增强证据的多智能体协作推理用于城市区域剖析

Xixuan Hao, Yutian Jiang, Jiabo Liu, Yihang Yang, Guangyin Jin, Song Gao, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Washington（华盛顿大学） ； Chang’an University（长安大学） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 研究针对城市区域剖析问题，提出UrbanAgent框架，通过多智能体协作推理解决跨模态不一致，将指标预测扩展为闭环过程，经实验验证其性能优于现有基线，在未见城市设置中有强泛化性。

Comments Accepted by KDD 2026

USS: Unified Spatial-Semantic Prompts for Embodied Visual Tracking with Latent Dynamics Learning

USS: 面向具身视觉跟踪的统一空间-语义提示与潜在动力学学习

Yuchen Xie, Xinyu Zhou, Kuangji Zuo, Yanshuo Lu, Fengrui Huang, Boyu Ma, Jianfei Yang

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出统一空间-语义提示范式替代纯文本目标指示，设计端到端框架USS支持多种提示类型，通过潜在世界模型提升时序鲁棒性，在真实机器人实验中优于纯文本方法。

Skill-3D: Evolving Scene-Aware Skills for Agentic 3D Spatial Reasoning

Skill-3D：面向智能体3D空间推理的场景感知技能进化

Haoyuan Li, Zhengdong Hu, Jun Wang, Hehe Fan, Yi Yang

机构 * Zhejiang University（浙江大学） ； University of Technology Sydney（技术悉尼大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Skill-3D框架，通过场景记忆和技能库的协同进化，使智能体根据场景自适应选择工具，显著提升3D空间推理中工具使用的正确性和充分性。

AlloSpatial: Agentic Harness Framework for Spatial Reasoning in Foundation Models

AlloSpatial：基础模型中空间推理的智能体框架

Shouwei Ruan, Bin Wang, Zhenyu Wu, Qihui Zhu, Yuxiang Zhang, Jingzhi Li, Yubin Wang, Xingxing Wei

机构 * Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 提出AlloSpatial框架，通过World2Mind认知映射沙箱将自我中心观察转化为异中心空间先验，并利用空间推理工具实现几何语义仲裁，在VSI-Bench和MindCube上提升模型5%-18%的空间推理性能。

Multitask Scanning Probe Microscopy

多任务扫描探针显微镜

Aditya Raghavan, Yu Liu, Ian Mercer, JP Maria, Sergei Kalinin

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)

AI总结 该研究提出多任务扫描探针显微镜，基于多任务高斯过程的闭环工作流程，实现测量位置与模态的自主选择，在AlScN晶圆上验证了其可扩展主动学习应用的价值。

HAM-VLN: Harnessing Hierarchical Agentic Memory for Zero-Shot Vision-and-Language Navigation

HAM-VLN：利用分层智能体记忆实现零样本视觉与语言导航

An Liu, Bingxi Liu, Hongyu Ding, Yixuan Jiang, Yaran Chen, Fulin Tang, Cong Leng, Hong Zhang, Jian Cheng

专题命中 多模态Agent ：multimodal(abstract,abstract_cn)

AI总结 本研究提出HAM-VLN零样本VLN方法，通过分层智能体记忆缓解长程导航的记忆与推理瓶颈，提升导航指标并缩短上下文长度，在多个基准数据集上取得优异零样本性能。

GS-Agent: Creating 4D Physical Worlds With Generative Simulation

GS-Agent：通过生成式模拟创建4D物理世界

Hongxin Zhang, Chunru Lin, Junyan Li, Zhou Xian, Tsun-Hsuan Wang, Chuang Gan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Genesis AI（创世纪人工智能公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究旨在从自然语言描述创建4D物理世界。核心方法是提出GS-Agent这一端到端多智能体框架，分解任务并让多智能体与物理引擎协作。主要贡献是能有效转换自然语言为物理合理的4D世界，实现相机和灯光控制，为新范式奠基。

VisualRepair: Dynamic Tool Calling and Region Focusing for Visual Software Issue Repair

VisualRepair：用于视觉软件问题修复的动态工具调用和区域聚焦

Jingyu Xiao, Zhongyi Zhang, Haoran Hou, Yuxuan Wan, Yuan Jiang, Yintong Huo, Michael R. Lyu

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)

AI总结 针对现代软件视觉信息利用难题，提出VisualRepair框架，通过图像类型感知工具调用和动态测试时区域聚焦两模块，在SWE-bench基准测试中性能超现有方法，有效提升自动视觉软件问题修复能力。

Comments The paper was completed in March 2026 and is currently under review. The code will be released upon acceptance

RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation

RynnWorld-4D：用于机器人操作的4D具身世界模型

Haoyu Zhao, Xingyue Zhao, Siteng Huang, Xin Li, Deli Zhao, Zhongyu Li

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hong Kong Embodied AI Lab（香港具身人工智能实验室） ； CUHK（香港中文大学） ； Hupan Lab（湖畔实验室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；cross-modal(abstract)

AI总结 研究针对开放世界机器人操作，提出RynnWorld-4D生成模型，通过RGB-DF捕捉4D动态，其具三分支架构，还整理数据集并提出RynnWorld-4D-Policy，实验证明该模型在时空预测及实际操作任务中表现出色。

Comments Project Page: https://alibaba-damo-academy.github.io/RynnWorld-4D.github.io, Github: https://github.com/alibaba-damo-academy/RynnWorld-4D

MemGUI-Agent: An End-to-End Long-Horizon Mobile GUI Agent with Proactive Context Management

MemGUI-Agent: 一种具有主动上下文管理的端到端长时移动GUI智能体

Guangyi Liu, Gao Wu, Congxiao Liu, Pengxiang Zhao, Liang Liu, Mading Li, Qi Zhang, Mengyan Wang, Liang Guo, Yong Liu

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)

AI总结 提出MemGUI-Agent，通过主动上下文管理机制（ConAct）将上下文管理作为一等动作，解决长时任务中提示膨胀和关键信息稀释问题，在8B模型上达到最佳性能。

Comments 33 pages, 6 figures. Project page: https://memgui-agent.github.io/

A History-Aware Visually Grounded Critic for Computer Use Agents

面向计算机使用代理的历史感知视觉基础批评家

Jaewoo Lee, Zaid Khan, Archiki Prasad, Justin Chih-Yao Chen, Supriyo Chakraborty, Kartik Balasubramaniam, Sambit Sahu, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Capital One ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出HiViG框架，通过历史感知的视觉基础多模态批评家，在测试时评估动作并拦截错误，在多个GUI基准上提升成功率。

Comments Code: https://github.com/G-JWLee/HiViG

Beyond APIs: Probing the Limits of MLLMs in Physical Tool Use

超越API：探索多模态大语言模型在物理工具使用中的极限

Zhixin Ma, Yutong Zhou, Yongqi Li, Chong-Wah Ngo, Wenjie Li

机构 * Singapore Management University（新加坡管理大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出PhysTool-Bench基准，评估多模态大语言模型在真实场景中识别物理工具并规划使用的能力，发现最强模型仅完成21%任务，揭示感知与规划双重缺陷。

Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL

Co-RL：多智能体强化学习中多样群体涌现的无监督推理

Yunhao Yang, Yuexin Bian, Yunjie Tian, Di Fu, Tianjin Huang, Yuanyuan Shi, Ziang Xiao, Nuno Vasconcelos, Yijiang Li

机构 * University of Exeter（埃克塞特大学） ； ByteDance（字节跳动） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出Co-RL框架，通过参数不共享的多智能体协作训练，利用同伴奖励减少对真实标注的依赖，提升纯文本及多模态任务的推理性能，缓解训练崩溃与响应同质化问题。

Comments 30 pages, 5 figures, 11 tables

Teach and Grow: An Agent-Centered Architecture for General Robot Learning

教学与成长：面向通用机器人学习的智能体中心架构

Chang Nie, Zhe Liu, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出TGL智能体中心架构，通过将演示转化为可复用技能块，无需特定任务再训练即可实现通用机器人学习，在LIBERO评估中达SOTA性能，还提出相关缩放定律假设。

UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

UI-Mate：利用上下文内演示推进开放权重基础图形用户界面智能体

Zihan Ding, Longxu Dou, Qi Gao, Xiangwu Guo, Shengchao Hu, Zilong Huang, Zihang Jiang, Lei Ke, Mengcheng Lan, Weixian Lei, Hanxuan Li, Honglin Li, Xiyun Li, Zaitang Li, Leowei Liang, Xin Luo, Haozhe Ma, Jiayi Mao, Zhoujie Pan, Can Qin, Tianyuan Qu, Weiqi Wang, Wenkai Wang, Yonglin Wang, Yuxin Wang, Chenxu Wu, Yingchen Yu, Chenyu Zhang, Yuhao Zheng

机构 * Tencent Hy Frontier Team（腾讯 Hy 前沿团队） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 UI-Mate是集成环境基训练栈与上下文内演示学习的GUI智能体，在多计算机使用基准上创开放权重SOTA，提升了长周期办公任务的执行可靠性

Comments UI-Mate Technical Report. Project page: https://ui-mate.github.io

ToolVision: Learning When and How to Use Visual Tools with Capability-Aligned Supervision

ToolVision：通过能力对齐监督学习何时以及如何使用视觉工具

Delin Mao, Chenghao Sun, Jingwei Song, Chishui Chen, Linfeng Zhang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态模型工具使用监督错位问题，提出ToolVision方法，通过能力对齐的SFT与RL监督优化工具使用学习，在多个视觉基准上实现性能提升并将公开发布相关资源。

Comments 18 pages, 13 figures

VTO: Visual Tool Orchestration for Video Anomaly Detection

VTO：面向视频异常检测的可视化工具编排

Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； School of Digital Media & Design Art（数字媒体与设计艺术学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对视频异常检测中传统方法泛化差、多模态智能体工具编排难的问题，提出过程监督强化学习框架VTO，结合VAD-Tool工具集，在工具调度上较基线提升10.2%。

Comments Accepted by ACM MM 2026

STEMMA: An Adversarial Multi-Agent Framework for Evaluating Self-Identity Consistency in LLMs

STEMMA：用于评估大语言模型（LLM）自我身份一致性的对抗性多智能体框架

Nuthakki Siva Gopala Krishna, Kanishka Jain

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对LLM自我身份一致性评估问题，提出对抗性多智能体框架STEMMA，结合手动设计的对抗性提示开展实验，发现多数LLM存在自我表征不一致的问题。

Comments 15 pages

OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents

OneDayAgent：面向自主智能体的长程管控框架

Jingsheng Zheng, Xinyuan Fang, Jintian Zhang, Zhengke Gui, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 OneDayAgent是一种长程管控框架，可将开放式请求分解为子任务，在不同后端LLMs上实现最优性能，解决智能体的多类失效模式。

Comments Ongoing work

EgoExoMoCap: Distributed Ego-Exo Human Motion Capture

EgoExoMoCap：分布式自我-外部人体运动捕捉

Jiaxi Jiang, Bharat Lal Bhatnagar, Nan Yang, Lingni Ma, Sebastian Starke, Robin Kips, Nadine Bertsch, Christian Holz, Federica Bogo

机构 * Meta Reality Labs（元现实实验室） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对头戴式设备人体运动捕捉，提出EgoExoMoCap分布式框架，联合自我与外部中心多模态信号，利用头部等跟踪信号及DINOv3特征，能在复杂场景中稳健重建运动，突破了两种范式孤立的局限。

Comments Accepted by ECCV 2026, Project page and code: https://siplab.org/projects/EgoExoMoCap

LOGOS: A Living Logic for AI Agent Teams That Evolve With Humans

LOGOS：一种与人类共同进化的人工智能代理团队的动态逻辑

Yuma Ichikawa, Yamato Arai, Kosaku Kimura, Akira Sakai, Hiromichi Kobashi

机构 * Fujitsu Limited（富士通有限公司） ； RIKEN Center for AIP（理化学研究所人工智能中心） ； The University of（某大学（原文未完整给出大学名称）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究人工智能代理团队与人类共同进化的问题，提出LOGOS这一可插拔层，通过编译多模态输入、转换代理活动并应用验证，实现可验证的人机循环工程，为可问责自动化提供动态逻辑。

Comments 58 pages, 14 figures

LEEVLA: Seeing What Matters in Latent Environment Evolution for Vision-Language-Action

LEEVLA：在视觉-语言-动作的潜在环境演化中洞察关键要素

Qi Lyu, Baicheng Liu, Xudong Wang, Jiahua Dong, Lianqing Liu, Zhi Han

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视觉-语言-动作模型难以应对复杂动态场景的问题，提出LEEVLA架构，引入漂移引导动态优先级和结构化特征流生成，构成“何处-如何”训练框架，实验表明该方法优于现有方法，强调了关键要素引导和结构化推理的重要性。

CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration

CanvasAgent：通过视觉工具编排实现复杂图像创建和编辑

Hairui Zhu, Yiying Yang, Tengjin Weng, Ziyu Lu, Xiao Yao, Xiaoyang Ye, Lin Ma, Wenhao Jiang

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究复杂图像创建编辑问题，提出CanvasAgent代理，通过多轮交互编排异构视觉工具，先经监督微调学习轨迹，再用广义信赖域策略优化器结合多种信号优化，结合CanvasCraft数据集进行实验，证明其对复杂多工具图像创建工作流程有效。

Comments 18pages, 5 figures

LectūraAgents: A Multi-Agent Framework for Adaptive Personalized AI-Assisted Learning and Embodied Teaching

LectūraAgents：面向自适应个性化AI辅助学习与具身教学的多智能体框架

Jaward Sesay, Yue Yu, Siwei Dong, Börje F. Karlsson

机构 * Beijing Institute of Technology（北京理工大学） ； Peking University（北京大学） ； Cornell University（康奈尔大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出LectūraAgents多智能体框架，通过层次化架构和自适应具身教学机制（如手势、高亮等）实现端到端个性化学习，并设计教学动作-语音对齐算法提升连贯性，在多个课程级别上优于现有方法。

Comments LecturaAgents TR

EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes

EgoGapBench：多智能体场景中自我中心动作选择的基准测试

Jihyeok Jung, Jeewu Lee, Sanghyeop Kim, Chanhee Han, Seong Joon Oh

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Sogang University（成均馆大学） ； Ministry of Science and ICT（科学技术信息通信部） 纠错

专题命中 多模态Agent ：MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出EgoGapBench基准，用于评估多智能体场景中的自我中心动作选择能力，发现多模态大语言模型表现远逊于人类，且现有自我中心数据微调无法弥合差距。

Comments 15 pages, 2 figures, 8 tables. Code and benchmark are available at https://github.com/jhCOR/EgoGapBench

ENVS: Environment-Native Verified Search for Long-Horizon GUI Agents

ENVS：面向长程GUI智能体的环境原生验证搜索

Yincheng Zhou, Athena Zhuoming Zhong, Shijie Zhang, Kevin Zhang, Teresa Xiaotao Shang, Shanghang Zhang

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Peking University（北京大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出ENVS方法，利用环境在训练时构建验证监督，通过分支搜索和全局平衡训练提升长程GUI任务性能，并引入OSWorld-Noisy基准测试抗干扰能力。

SPARC: A Multi-Agent System for Electrical Circuit Question Answering

SPARC：用于电路问答的多智能体系统

Mushtari Sadia, Zhenning Yang, Umme Habiba Lamia, Nishat Shawrin, Ang Chen, Amrita Roy Chowdhury

机构 * University of Michigan（密歇根大学） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出SPARC多智能体系统，通过可执行的物理仿真程序进行推理，在电路问答任务上实现83%准确率，较基线提升高达58%。