多模态大模型

Visual Planning: Let's Think Only with Images

视觉规划：只用图像来思考

Yi Xu, Chengzu Li, Han Zhou, Xingchen Wan, Caiqi Zhang, Anna Korhonen, Ivan Vulić

机构 * Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室） ； Google（谷歌公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出视觉规划范式，通过图像进行推理，优于纯文本推理，在视觉导航任务中表现更优。

Comments ICLR 2026 (Oral)

RynnBrain: Open Embodied Foundation Models

RynnBrain: 开放式具身基础模型

Ronghao Dang, Jiayan Guo, Bohan Hou, Sicong Leng, Kehan Li, Xin Li, Jiangpin Liu, Yunxuan Mao, Zhikai Wang, Yuqian Yuan, Minghao Zhu, Xiao Lin, Yang Bai, Qian Jiang, Yaxi Zhao, Minghua Zeng, Junlong Gao, Yuming Jiang, Jun Cen, Siteng Huang, Liuyi Wang, Wenqiao Zhang, Chengju Liu, Jianfei Yang, Shijian Lu, Deli Zhao

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)

AI总结 RynnBrain提出了一种开放的具身基础模型，通过统一框架强化感知、推理、规划等能力，显著优于现有模型，并能高效适应多种具身任务。

Comments Homepage: https://alibaba-damo-academy.github.io/RynnBrain.github.io

AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning

AdaReasoner: 多步骤视觉推理中的动态工具协调

Mingyang Song, Haoyu Sun, Jiawei Gu, Linjie Li, Luxin Xu, Ranjay Krishna, Yu Cheng

机构 * Fudan University（复旦大学） ； Tongji University（同济大学） ； National University of Singapore（新加坡国立大学） ； University of Washington（华盛顿大学） ； University of Electronic Science and Technology of China（电子科技大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 AdaReasoner通过动态工具协调提升多模态模型的视觉推理能力，实现工具自适应和泛化，超越现有系统性能。

Comments 28 pages, 10 figures and 13 tables

OS-Symphony: A Holistic Framework for Robust and Generalist Computer-Using Agent

OS-Symphony: 一个用于鲁棒且通用计算机使用代理的综合框架

Bowen Yang, Kaiming Jin, Zhenyu Wu, Zhaoyang Liu, Qiushi Sun, Zehao Li, JingJing Xie, Zhoumianze Liu, Fangzhi Xu, Kanzhi Cheng, Qingyun Li, Yian Wang, Yu Qiao, Zun Wang, Zichen Ding

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； The University of Hong Kong（香港大学） ； CUHK MMLab（香港中文大学MMLab） ； Xi’an Jiaotong University（西安交通大学） ； Nanjing University（南京大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 OS-Symphony通过反思记忆代理和多功能工具代理，提升计算机使用代理在长周期任务和新领域中的鲁棒性和泛化能力。

Comments 31 pages, 11 figures, 12 tables

AI Meets Brain: Memory Systems from Cognitive Neuroscience to Autonomous Agents

AI 与大脑：从认知神经科学到自主代理的记忆系统

Jiafeng Liang, Hao Li, Chang Li, Jiaqi Zhou, Shixin Jiang, Zekun Wang, Changkai Ji, Zhihao Zhu, Runxuan Liu, Tao Ren, Jinlan Fu, See-Kiong Ng, Xia Liang, Ming Liu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文从认知神经科学到自主代理，系统综合了记忆的跨学科知识，探讨了记忆的定义、功能、分类、存储机制及安全问题，并展望了多模态记忆系统和技能获取的未来研究方向。

Comments 57 pages, 5 figures

Multi-Agent Framework for Threat Mitigation and Resilience in AI-Based Systems

多智能体框架用于AI系统中的威胁缓解与韧性

Armstrong Foundjem, Lionel Nganyewou Tidjon, Leuson Da Silva, Foutse Khomh

机构 * Department of Computer and Software Engineering, Polytechnique Montreal（计算机与软件工程系，蒙特利尔理工学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)

AI总结 本文提出多智能体框架，用于识别和缓解AI系统中的威胁，通过构建威胁图分析漏洞和攻击模式，提升系统韧性。

Comments 56 pages, 18 Figures, 22 Tables, TOSEM

SoMi-ToM: Evaluating Multi-Perspective Theory of Mind in Embodied Social Interactions

SoMi-ToM：评估具身社会互动中的多视角理论之心假设

Xianzhe Fan, Xuhui Zhou, Chuanyang Jin, Kolby Nottingham, Hao Zhu, Maarten Sap

机构 * The University of Hong Kong（香港大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of California Irvine（加州大学尔湾分校） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 SoMi-ToM基准通过多视角评估人类与模型在具身社会互动中的理论之心能力，揭示大型视觉-语言模型在复杂社交场景中的不足。

Comments 24 pages, 6 figures

Journal ref Proceedings of the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

Chain-of-Ground: Improving GUI Grounding via Iterative Reasoning and Reference Feedback

Chain-of-Ground: 通过迭代推理和参考反馈提升GUI定位

Aiden Yiliu Li, Bizhi Yu, Daoan Lei, Tianhe Ren, Shilong Liu

机构 * University College London（伦敦大学学院） ； Chico Future AI Lab（芝加哥未来人工智能实验室） ； The University of Hong Kong（香港大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Chain-of-Ground通过迭代推理和参考反馈提升GUI定位，实现68.4的准确率，并在现实世界界面中表现优异。

Scaling Agentic Reinforcement Learning for Tool-Integrated Reasoning in VLMs

在视觉语言模型中实现工具集成推理的规模化代理强化学习

Meng Lu, Ran Xu, Yi Fang, Wenxuan Zhang, Yue Yu, Gaurav Srivastava, Yuchen Zhuang, Mohamed Elhoseiny, Charles Fleming, Carl Yang, Zhengzhong Tu, Yang Xie, Guanghua Xiao, Hanrui Wang, Di Jin, Wenqi Shi, Xuan Wang

机构 * Virginia Tech（弗吉尼亚理工大学） ； Emory University（埃默里大学） ； KAUST（阿联酋卡塔尔大学） ； Georgia Tech（佐治亚理工学院） ； Cisco（思科系统） ； TAMU（德克萨斯大学奥斯汀分校） ； UT Southwestern Medical Center（德克萨斯西南医学中心） ； Eigen AI 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出VISTA-Gym，通过多轮轨迹采样和端到端强化学习，提升视觉语言模型的工具集成推理能力，在多个基准测试中取得显著优势。

Comments 17 pages, 9 figures, work in progress

From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction

从预测到规划：用于协作状态-动作预测的策略世界模型

Zhida Zhao, Talas Fu, Yifan Wang, Lijun Wang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出策略世界模型（PWM），通过整合世界建模与轨迹规划，并利用无动作未来状态预测提升规划性能，实现更可靠的自主驾驶决策。

Comments Accepted by NuerIPS 2025 (Poster)

History-Aware Reasoning for GUI Agents

Ziwei Wang, Leyang Yang, Xiaoxuan Tang, Sheng Zhou, Dajun Chen, Wei Jiang, Yong Li

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Paper accepted to AAAI 2026

From Grounding to Manipulation: Case Studies of Foundation Model Integration in Embodied Robotic Systems

Xiuchao Sui, Daiying Tian, Qi Sun, Ruirui Chen, Dongkyu Choi, Kenneth Kwok, Soujanya Poria

机构 * IHPC, Agency for Science, Technology and Research, Singapore（科技研究局智能技术中心，新加坡） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)

Comments EMNLP 2025 camera ready

Mano Technical Report

Tianyu Fu, Anyang Su, Chenxu Zhao, Hanning Wang, Minghui Wu, Zhe Yu, Fei Hu, Mingjia Shi, Wei Dong, Jiayao Wang, Yuyang Chen, Ruiyang Yu, Siran Peng, Menglin Li, Nan Huang, Haitian Wei, Jiawei Yu, Yi Xin, Xilin Zhao, Kai Gu, Ping Jiang, Sifan Zhou, Shuo Wang

机构 * Mininglamp Technology（Mininglamp技术） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.CL、cs.MM

Avi: Action from Volumetric Inference

Harris Song, Long Le

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of pennsylvania（宾夕法尼亚大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；MLLM(abstract)

Comments NeurIPS 2025 Workshop on Embodied World Models for Decision Making. URL: https://avi-3drobot.github.io/

VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use

Dongfu Jiang, Yi Lu, Zhuofeng Li, Zhiheng Lyu, Ping Nie, Haozhe Wang, Alex Su, Hui Chen, Kai Zou, Chao Du, Tianyu Pang, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； Sea AI Lab（Sea AI 实验室） ； University of Toronto（多伦多大学） ； Shanghai University（上海大学） ； HKUST（香港科技大学） ； M-A-P ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 32 pages, 5 figures, 13 tables

Towards Proprioception-Aware Embodied Planning for Dual-Arm Humanoid Robots

Boyu Li, Siyuan He, Hang Xu, Haoqi Yuan, Xinrun Xu, Yu Zang, Liwei Hu, Junpeng Yue, Zhenxiong Jiang, Pengbo Hu, Börje F. Karlsson, Yehui Tang, Zongqing Lu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； AgiBot ； School of Computer Science, Peking University（北京大学计算机学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)

TriVLA: A Triple-System-Based Unified Vision-Language-Action Model with Episodic World Modeling for General Robot Control

Zhenyang Liu, Yongchong Gu, Sixiao Zheng, Yanwei Fu, Xiangyang Xue, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)

AgentDroid: A Multi-Agent Framework for Detecting Fraudulent Android Applications

Ruwei Pan, Hongyu Zhang, Zhonghao Jiang, Ran Hou

专题命中 多模态Agent ：multimodal(abstract)；multi-modal(abstract)

EH-Benchmark Ophthalmic Hallucination Benchmark and Agent-Driven Top-Down Traceable Reasoning Workflow

Xiaoyu Pan, Yang Bai, Ke Zou, Yang Zhou, Jun Zhou, Huazhu Fu, Yih-Chung Tham, Yong Liu

机构 * Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（高性能计算研究所，科技研究局（A*STAR）） ； Centre for Innovation and Precision Eye Health（创新与精准眼健康中心） ； Department of Ophthalmology, NUHS Tower Block, Level 7, 1E Kent Ridge Road, Singapore, 119228（眼科部，NUHS塔楼7层，1E Kent Ridge Road，新加坡，119228） ； Singapore Eye Research Institute, Singapore National Eye Centre, 20 College Road, Singapore, 169856（新加坡眼研究 institute，新加坡国家眼科中心，20 College Road，新加坡，169856） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 9 figures, 5 tables. submit/6621751

UnderwaterVLA: Dual-brain Vision-Language-Action architecture for Autonomous Underwater Navigation

Zhangyuan Wang, Yunpeng Zhu, Yuqi Yan, Xiaoyuan Tian, Xinhao Shao, Meixuan Li, Weikun Li, Guangsheng Su, Weicheng Cui, Dixia Fan

机构 * School of Engineering, Westlake University（西lake大学工程学院） ； College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； College of Environmental and Resource Sciences, Zhejiang University（浙江大学环境与资源科学学院） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)

Comments This paper introduces the first VLA framework for AUVs, featuring a dual-brain architecture and zero-data MPC for real-world underwater navigation

JARVIS: A Neuro-Symbolic Commonsense Reasoning Framework for Conversational Embodied Agents

Kaizhi Zheng, Kaiwen Zhou, Jing Gu, Yue Fan, Jialu Wang, Zonglin Di, Xuehai He, Xin Eric Wang

机构 * University of California（加州大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 19th International Conference on Neurosymbolic Learning and Reasoning

WebWatcher: Breaking New Frontier of Vision-Language Deep Research Agent

Xinyu Geng, Peng Xia, Zhen Zhang, Xinyu Wang, Qiuchen Wang, Ruixue Ding, Chenxi Wang, Jialong Wu, Yida Zhao, Kuan Li, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

专题命中 多模态Agent ：multimodal(abstract)；multi-modal(abstract)

Multi-Agent Visual-Language Reasoning for Comprehensive Highway Scene Understanding

Yunxiang Yang, Ningning Xu, Jidong J. Yang

机构 * Smart Mobility and Infrastructure Lab（智能移动与基础设施实验室） ； College of Engineering, University of Georgia（佐治亚大学工程学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 16 pages, 16 figures, 8 tables

Flexible Tool Selection through Low-dimensional Attribute Alignment of Vision and Language

Guangfu Hao, Haojie Wen, Liangxuan Guo, Yang Chen, Yanchao Bi, Shan Yu

机构 * Laboratory of Brain Atlas and Brain-inspired Intelligence, Institute of Automation Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所脑图谱与类脑智能实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院） ； School of Systems Science, Beijing Normal University（北京师范大学系统科学学院） ； School of Psychological and Cognitive Sciences & Beijing Key Laboratory of Behavior and Mental Health, Peking University（北京大学心理与认知科学学院） ； IDG/McGovern Institute for Brain Research, Peking University（北京大学IDG/ McGovern脑科学研究院） ； Institute for Artificial Intelligence & Key Laboratory of Machine Perception (Ministry of Education), Peking University（北京大学人工智能研究所） ； School of Future Technology, University of Chinese Academy of Sciences (UCAS)（中国科学院大学未来技术学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Medical Reasoning in the Era of LLMs: A Systematic Review of Enhancement Techniques and Applications

Wenxuan Wang, Zizhan Ma, Meidan Ding, Shiyi Zheng, Shengyuan Liu, Jie Liu, Jiaming Ji, Wenting Chen, Xiang Li, Linlin Shen, Yixuan Yuan

机构 * Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shenzhen University（深圳大学） ； City University of Hong Kong（香港城市大学） ； Peking University（北京大学） ； Massachusetts General Hospital and Harvard Medical School（麻省总医院和哈佛医学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Phi-Ground Tech Report: Advancing Perception in GUI Grounding

Miaosen Zhang, Ziqiang Xu, Jialiang Zhu, Qi Dai, Kai Qiu, Yifan Yang, Chong Luo, Tianyi Chen, Justin Wagle, Tim Franklin, Baining Guo

机构 * Microsoft（微软） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

TD-Interpreter: Enhancing the Understanding of Timing Diagrams with Visual-Language Learning

Jie He, Vincent Theo Willem Kenbeek, Zhantao Yang, Meixun Qu, Ezio Bartocci, Dejan Ničković, Radu Grosu

机构 * Technische Universität Wien（维也纳技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； AIT Austrian Institute of Technology（奥地利技术研究院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)

Foundation Model Driven Robotics: A Comprehensive Review

Muhammad Tayyab Khan, Ammar Waheed

机构 * School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院） ； J. Mike Walker ’66 Department of Mechanical Engineering, Texas A&M University（德克萨斯农工大学J. Mike Walker ’66机械工程系） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)

ControlMTR: Control-Guided Motion Transformer with Scene-Compliant Intention Points for Feasible Motion Prediction

Jiawei Sun, Chengran Yuan, Shuo Sun, Shanze Wang, Yuhang Han, Shuailei Ma, Zefan Huang, Anthony Wong, Keng Peng Tee, Marcelo H. Ang

机构 * Department of Mechanical Engineering, National University of Singapore（新加坡国立大学机械工程系） ； College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院） ； Moovita Pte Ltd（Moovita公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multi-modal(abstract)

Journal ref 2024 IEEE 27th International Conference on Intelligent Transportation Systems (ITSC)

Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents

Boyu Gou, Ruohan Wang, Boyuan Zheng, Yanan Xie, Cheng Chang, Yiheng Shu, Huan Sun, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Orby AI（Orby人工智能） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Accepted to ICLR 2025 (Oral). Project Homepage: https://osu-nlp-group.github.io/UGround/