多模态大模型

Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization

用质量多样性优化发现多模态具身智能体的多样化规划策略

Pengfei Xu, Yong Liu, Xiaoya Nan, Qiang Yang, Peilan Xu

机构 * School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态具身智能体现有规划器易因单一规划风格失效导致停滞的问题，提出质量多样性框架，通过进化策略模板构建多样化策略库，实现自适应规划与故障恢复，在ThreeDWorld基准上提升了任务成功率与交互效率。

Comments To appear in ACM MM (MM '26)

Large Multimodal Agents for Intelligent Transportation Systems: Architectures, Evidence, and Deployment Challenges

面向智能交通系统的大型多模态智能体：架构、证据与部署挑战

Muhammad Ayub Sabir, Shaohong Zheng, Zhiyu Qu, Fatima Ashraf, Junbiao Pang

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本综述梳理2023-2026年42个LMAs研究家族，评估其在ITS中的多模态性、性能与部署情况，支持有限编排而非替代，提供评估协议与部署路线图。

Beyond Simply Environment Scaling: Designing Effective Environment Distributions for Multimodal Agent Learning

超越单纯的环境规模扩展：为多模态智能体学习设计有效的环境分布

Kejian Zhu, Zhuoran Jin, Dongqi Huang, Hongbang Yuan, Yupu Hao, Kang Liu, Jun Zhao

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对多模态智能体学习中单纯扩展环境数量无效的问题，提出AES与HDC两种方法优化环境分布，提升了智能体训练效果。

Comments Code: https://github.com/GaryStack/Beyond-MMEnv-Scaling

AutoProteinEngine: A Large Language Model Driven Agent Framework for Multimodal AutoML in Protein Engineering

AutoProteinEngine：一种用于蛋白质工程多模态自动机器学习的大语言模型驱动智能体框架

Yungeng Liu, Zan Chen, Yu Guang Wang, Yiqing Shen

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对生物学家缺乏计算知识难以应用深度学习开展蛋白质工程的问题，提出AutoProteinEngine框架，集成LLMs与AutoML，经两项任务验证其性能优于传统方法，降低了深度学习应用门槛。

Embodied Empathy: A Multimodal AR and LLM-Powered System for Self-Attachment Psychotherapy with Self-Initiated Humour

具身共情：一种用于自我依恋心理治疗的多模态AR与大语言模型驱动系统，结合自发起幽默协议

Xinyan Ye, Gwyneth Phang, Anandha Gopalan, Abbas Edalat

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.MM

AI总结 该研究针对心理健康从业者供给不足的问题，开发结合SIHP与SAT的多模态AR及LLM系统，经8天16人研究验证其可行性，可改善情绪并转变用户对AI对话工具的期望。

VFEAgent: A Multimodal Agent Framework for End-to-End Automated Finite Element Analysis

VFEAgent: 面向端到端自动化有限元分析的多模态智能体框架

Jiachen Zhang, Junyi Lao, Chenghao Liu, Siyuan Liu, Shixin Wu, Linsen Zhang, Boyu Wang, Songfang Huang

机构 * Peking University（北京大学） ； China Agricultural University（中国农业大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出VFEAgent多智能体系统，通过多模态视觉-语言流水线和验证优先的代码合成框架，实现从输入图像和问题描述到有限元建模与仿真的端到端自动化。

Comments 9 pages, 3 figures, 2 tables. Equal contribution: Jiachen Zhang and Junyi Lao. Corresponding author: Songfang Huang. Preprint

CodeShrink: Adaptive Visual Compression for Efficient Multimodal Code Understanding

CodeShrink：面向高效多模态代码理解的自适应视觉压缩

Wenxin Tang, Jingyu Xiao, Zhenyu Liu, Zipeng Xie, Junliang Liu, Wang Luo, Yuan Jiang, Yintong Huo, Michael Lyu

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 CodeShrink是含无空白渲染、自适应压缩配置、主导令牌选择的自适应视觉压缩框架，可减少代码理解的视觉令牌用量，在三类代码任务上优于基线。

Multimodal Reinforcement Learning with Adaptive Verifier for AI Agents

具有自适应验证器的多模态强化学习

Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Pollefeys, Yong Jae Lee, Jianfeng Gao

机构 * Microsoft Research（微软研究院） ； UMass Amherst（马萨诸塞大学阿默斯特分校） ； ETH Zurich（苏黎世联邦理工学院） ； UW–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出Argos验证器，通过结合SFT数据筛选与RL训练，提升多模态推理模型在空间推理、视觉幻觉及机器人任务中的性能，同时减少奖励黑客问题。

MARS-RA: Rank Aggregation for Credit Assignment via Multimodal Comparisons in Embodied Multi-Agent Cooperation

MARS-RA：基于具身多智能体协作中多模态比较的信用分配排序聚合

Dawei Wang, Di Zhao, Xinyuan Liu, Marci Chi Ma, Xiaoyang Liu, Chengming Zhou, Gary Ushaw, Richard Davison

机构 * Newcastle University（纽卡斯尔大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究针对具身多智能体协作的信用分配难题，提出MARS-RA框架，将其转化为多模态模型生成的成对比较排序聚合问题，经理论与实验验证可引导智能体有效协作。

Comments ACL 2026 Main

VetClaw: An Edge-Cloud Multimodal Agentic System for Veterinary Disease Screening

VetClaw：一种用于兽医疾病筛查的边缘云多模态智能系统

Syed Mhamudul Hasan, Anas AlSobeh, Hussein Zangoti, Abdur R. Shahid

机构 * Southern Illinois University（南伊利诺伊大学） ； Utah Valley University（犹他谷大学） ； Jazan University（吉赞大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 VetClaw是用于兽医疾病筛查的边缘云多模态智能系统，用相机模块采集图像等并发送至视觉语言模型分类。它分离智能体交互与工作流编排，超越静态图像分类，症状引导和多模态输入提升性能，将静态模型转变为多功能安全感知系统。

JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents

JarvisHub：用于原生画布多模态创意智能体的开放框架

Yunlong Lin, Zixu Lin, Zhaohu Xing, Biqiang Li, Chenxin Li, Haonan Wang, Haitao Wu, Hengyu Liu, Jianghai Chen, Kaituo Feng, Kaixin Li, Shawn Chen, Shijue Huang, Sixiang Chen, Tsung-Yi Ho, Wenxuan Huang, Xiangyan Liu, Xiaomeng Hu, Xuanhua He, Yan Sun, Yunqing Zhao, Zhiqin Yang, Zehan Wang, Zhengyang Tang, Tianyu Pang, Xiangyu Yue

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对创意人工智能从单步到多模态创作转变中现有系统不足的问题，引入JarvisHub框架，以可编辑画布为核心，通过三层架构让智能体实现持续、人工可控的创意自动化创作。

Comments 15 pages, 9 figures. Project page: https://www.jarvishub.site/ Code github: https://github.com/LYL1015/JarvisHub

Trustworthy Privacy-Preserving Multimodal Federated Learning for Personalised Breast Cancer Prediction

用于个性化乳腺癌预测的可信隐私保护多模态联邦学习

Ruth Amey, Muhammad Arifur Rahman, Taha Osman, Nicholas Shopland, Andy Burton, Mufti Mahmud, David J. Brown

机构 * NTU（南洋理工大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究探讨联邦学习能否兼顾四个关键支柱，支持乳腺癌患者肿瘤进展预测模型开发。通过多模态数据评估联邦学习框架，与集中式模型比较性能，并研究相关策略，结果助于理解隐私保护多模态预测建模可行性及支持未来应用。

Comments 26 pages, 12 figures

MAGE: Human-Like Macro Placement via Agentic Multimodal Reasoning

MAGE：通过智能多模态推理实现类人宏布局

Andrew B. Kahng, Sayak Kundu, Bodhisatta Pramanik

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对工业物理设计流程中宏布局需大量人工优化的问题，提出MAGE框架。该框架通过多模态多智能体实现宏布局优化，结合多种规则与检查，引入量化类人性指标。实验表明其相比商业工具及基线有显著提升，且能转移到新布局设置。

Comments 16 pages

Benchmarking Agentic Newswriting via Journalistic Workflows

通过新闻工作流程对智能新闻写作进行基准测试

Yen-Che Chien, Kuang-Da Wang, Wei-Yao Wang, Wen-Chih Peng

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Sony Group Corporation（索尼集团） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究智能体在新闻写作工作流程中的表现，引入NEWSAGENT基准，给定写作指令和部分材料，评估智能体搜索、选信息及改草稿能力，发现其检索事实尚可，但规划和叙事整合有困难，为评估智能体能力提供现实测试平台。

Comments Accepted to Findings of ACL 2026

SciForge: An AI-Native, Multimodal Workbench for Scientific Discovery

SciForge：用于科学发现的人工智能原生多模态工作台

SciForge Team, Zhangyang Gao, Minghao Fang, Yifei Liu, Hanhui Yang, Xinyu Gu, Shixiang Tang, Siqi Sun, Lei Bai, Cheng Tan, Mengdi Liu, Hao Wu, Shuizhou Chen

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 SciForge针对科学工作中异构工件难保存为连贯可审计状态的问题，构建多模态工作台，围绕五个支柱运行，结合多种组件，通过多种应用场景展示实际影响，当前为桌面应用，未来深化团队协作且开源。

ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory

ABot-AgentOS：一个具有终身多模态记忆的通用机器人智能体操作系统

Jiayi Tian, Shiao Liu, Yuting Xu, Jia Lu, Zihao Guan, Honglin Han, Di Yang, Minqi Gu, Yifei Qian, Tianlin Zhang, Yanqing Zhu, Zeqian Ye, Menglin Yang, Fei Wang, Xu Hu, Xiuxian Li, Wei Zhang, Shihui Su, Yiyan Ji, Jingbo Wang, Ziteng Feng, Jiaheng Liu, Zhaoxiang Zhang, Xiaolong Wu, Zixiao Tang, Zhining Gu, Yang Cai, Linbo Zheng, Jingjing Ma, Mingyang Yin, Zedong Chu, Wenbin Tang, Mu Xu

机构 * AMAP CV Lab（AMAP计算机视觉实验室） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 研究针对长期具身智能体运行需求，提出ABot-AgentOS通用机器人智能体操作系统，引入EmbodiedWorldBench基准，采用通用多模态图记忆及失败驱动自我进化循环，在相关测试中表现良好，证明该系统层可提升具身执行并提供持久记忆。

Comments Code: https://github.com/amap-cvlab/ABot-AgentOS Project page: https://amap-cvlab.github.io/ABot-AgentOS

RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources

RESOURCE2SKILL: 从人类创建的多模态资源中提取可执行智能体技能

Yijia Fan, Zonglin Di, Zimo Wen, Yifan Yang, Mingxi Cheng, Qi Dai, Bei Liu, Kai Qiu, Yue Dong, Ji Li, Chong Luo

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； Microsoft（微软） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出RESOURCE2SKILL框架，从教程视频、代码库、文章等人类多模态资源中提取可执行技能，构建分层多模态技能维基，提升智能体在七个领域的任务表现。

TopoAgent: A Self-Evolving Topological Agent for Multimodal Scientific Reasoning

TopoAgent：用于多模态科学推理的自进化拓扑智能体

Mingze Xu, Yinghui Li, Jiayi Kuang, Zhanhui Kang, Di Yin, Ying Shen, Xing Sun, Yuxing Han

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型科学推理难题，提出TopoAgent自进化拓扑框架，用图进化取代线性轨迹，通过前端分解器、DAG组织原子及自适应原子裂变实现，实验证明其显著优于线性智能体框架，为科学推理提供新范式。

SPyCE: Skill-Policy Co-evolution for Multimodal Agents

SPyCE：多模态智能体的技能-策略协同进化

Ru Zhang, Weijie Qiu

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究多模态智能体，提出SPyCE框架，将推理轨迹提炼为分层技能库与策略协同进化，执行技能捕获局部操作，工作流技能编码高级先验，实验证明该框架优于基线，为构建多模态智能体提供新范式。

UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp

UNIBROWSE：用于多模态浏览比较的数据到智能体框架

Xiyu Wei, Qingwei Zong, Zhuocheng Yu, Sujian Li

机构 * Key Laboratory of Computational Linguistics, MOE, Peking University（教育部计算语言学重点实验室，北京大学） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； School of Computer Science, Peking University（北京大学计算机科学学院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究多模态浏览比较任务，提出UNIBROWSE统一数据管道，同时生成三种模式训练数据，增强知识图谱，引入探索度度量。经此训练的35B规模智能体在多模态浏览比较基准测试中性能领先，超多个闭源智能体工作流程。

Comments 17 pages, 5 figures

SAGEAgent: A Self-Evolving Agent for Cost-Aware Modality Acquisition in Multimodal Survival Prediction

SAGEAgent：用于多模态生存预测中成本感知模态获取的自进化智能体

Chongyu Qu, Can Cui, Zhengyi Lu, Junchao Zhu, Tianyuan Yao, Junlin Guo, Juming Xiong, Yanfan Zhu, Yuechen Yang, Bennett A. Landman, Yuankai Huo

机构 * Vanderbilt University（范德堡大学） ； Vanderbilt University Medical Center（范德堡大学医学中心） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究多模态生存预测中如何平衡预测准确性与临床侵入性，提出基于自进化大语言模型的SAGEAgent，通过多种记忆和工具为患者决定诊断方式，实验证明其能在胶质瘤队列中降低获取负担并保持竞争力。

Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning

用于稳健奖励学习的多模态、多环境机器教学

Ali Larian, Qian Lin, Chang Zong Wu, Daniel S. Brown

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 研究自主智能体在多环境下奖励学习问题，提出分层机器教学算法，先选信息丰富环境，再查询低成本反馈，实验表明该方法比统一教学基线有更低遗憾值和更强泛化能力，凸显多环境多模态教学对稳健奖励学习的重要性。

Comments Accepted to RLC 2026. Conference paper

End-to-End LLM Flight Planning with RAG-based Memory and Multi-modal Coach Agent

基于基于检索增强生成的记忆和多模态教练代理的端到端大语言模型飞行规划

Amin Tabrizian, Arsyi Aziz, Aarifah Ullah, Mahyar Ghazanfari, Pouria Razzaghi, Peng Wei

机构 * George Washington University（乔治华盛顿大学） ； Metis Solutions Technology Inc 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 针对电动垂直起降飞机部署中传统飞行规划算法难以融入人类偏好的问题，提出FRAMe工具，集成规划器LLM、多模态教练代理和基于RAG的记忆，在多场景演示中效果最佳，能将自然语言指令转化为优质飞行路线。

Comments Accepted at the ICML 2026 LM4Plan Workshop

AppAgent: Multimodal Agents as Smartphone Users

AppAgent：作为智能手机用户的多模态智能体

Chi Zhang, Zhao Yang, Jiaxuan Liu, Yanda Li, Yucheng Han, Xin Chen, Zebiao Huang, Bin Fu, Gang Yu

机构 * Tencent（腾讯） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 介绍基于大语言模型的多模态智能体框架，通过简化动作空间操作智能手机应用，无需系统后端访问，经自主探索或观察人类示范学习，能执行复杂任务，测试验证其处理多种高级任务的能力。

Comments Accepted to CHI 2025, project page is https://appagent-official.github.io/

Robust Autonomous UAV Landing on Maritime Platforms via Multimodal Agentic AI and Active Wave Compensation

基于多模态智能体AI和主动波浪补偿的自主无人机稳健海上平台着陆

Francisco S. Neves, Pedro N. Pereira, Raul D. S. G. Campilho, Andry M. Pinto

机构 * Fundação Para a Ciência e a Tecnologia（葡萄牙科学技术基金会） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出一种解耦的多飞行器着陆框架，利用双深度强化学习智能体（SAC和模态RL）实现无人机在海上平台的稳健着陆，在15次试验中达到100%成功率。

SimpleSearch-VL: A Simple Recipe for Multimodal Agentic Deep Search

SimpleSearch-VL：多模态智能深度搜索的简单配方

Ming Dai, Zhihong Lu, Jinjie Gu, Jiedong Zhuang, Yefeng Liu, Wankou Yang, Jian Wang, Chunhua Shen

机构 * Southeast University（东南大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出SimpleSearch-VL框架，通过因子化自适应展开和证据验证推理提升多模态智能搜索的效率与可靠性，仅用少量数据即显著超越基线。

Comments Technical Report

DAIN: Dynamic Agent-Based Interaction Network for Efficient and Collaborative Multimodal Reasoning

DAIN: 基于动态智能体交互网络的高效协同多模态推理

Xinxin Chen, Yuchen Li, Zihan Wang, Haoyu Zhang, Ruixin Liu, Mingyuan Zhao

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出动态智能体交互网络(DAIN)，通过上下文感知元控制器动态调度专业交互智能体并压缩通信，实现高效协同多模态推理，在五个基准上取得最优性能。

Comments 19 pages

ReasonRec: A Reasoning-Augmented Multimodal Agent for Unified Recommendation

ReasonRec: 一种用于统一推荐的推理增强多模态智能体

Yihua Zhang, Mingfu Liang, Jiyan Yang, Rong Jin, Wen-Yen Chen, Yiping Han, Huayu Li, Buyun Zhang, Liang Luo, Frank Shyu, Luke Simon, Sijia Liu, Tianlong Chen, Xi Liu

机构 * Meta AI ； Michigan State University（密歇根州立大学） ； The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出ReasonRec，一种基于三阶段显式推理管道的多模态推荐智能体，通过推理感知视觉指令调优、证据-视野课程学习和不确定性引导委派机制，在五个数据集上实现排名指标相对提升超30%，推理延迟降低35%。

Comments The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning

FlowR2A: 学习奖励到动作分布用于多模态驾驶规划

Xirui Li, Zhe Liu, Xiaoqing Ye, Wenhua Han, Yifeng Pan, Junyu Han, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； Changan Automobile（长安汽车） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出FlowR2A，通过流匹配解码器学习奖励条件动作分布，统一了基于评分和基于锚点的方法，实现密集监督与动态生成，在NAVSIM基准上取得最优结果。

Comments Project page: https://lixirui142.github.io/flowr2a-ad

Response-Aware Multimodal Learning for Post-Treatment Visual Acuity Forecasting

响应感知的多模态学习用于治疗后视力预测

Phuoc-Nguyen Bui, Van-Vi Vo, Duc-Tai Le, Junghyun Bum, Van-Nguyen Pham, Ki-Young Kim, Seung-Young Yu, Hyunseung Choo

机构 * Research Convergence Institute（研究融合研究所） ； Sungkyunkwan University（全北大学） ； Dept. of AI Systems Engineering（人工智能系统工程系） ； Dept. of Ophthalmology（眼科系） ； Kyung Hee University Medical Center（庆熙大学医学院） ； Dept. of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ReVA框架，利用基线与第1个月OCT影像及表格数据，通过多模态融合预测糖尿病性黄斑水肿患者抗VEGF治疗后3-24个月的视力轨迹。

Comments To appear in MICCAI 2026