多模态大模型

Building Agent Harnesses for Scientific Curation from Multimodal Sources

构建用于多模态来源科学数据提取的智能体框架

Sheng Zhang, Qin Liu, Renqian Luo, Shufang Xie, Reuben Tan, Sean Hayes, Gregory Bryman, Wendong Ge, Ruilian Zhang, Oluwaseun Egbelowo, Kelly Yee, Hoifung Poon

机构 * Microsoft Research（微软研究院） ； University of California, Davis（加州大学戴维斯分校） ； Merck & Co., Inc., Rahway, NJ, USA（默克公司（美国新泽西州拉威）） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 提出Beaver框架，通过任务分解、多模态证据工具和可追溯性，将科学文献中的结构化信息提取转化为可审计的工作流，在GRAS指标上比前沿智能体提升23个绝对百分点。

MAG: A Web-Agent Benchmark and Harness for Multimodal Action and Guide Generation

MAG：用于多模态动作与引导生成的网络智能体基准测试与工具包

Chengguang Gan, Hanjun Wei, Yunhao Liang, Zhixi Cai, Qinghao Zhang, Shiwen Ni

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Monash University（莫纳什大学） ； Pusan National University（釜山国立大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 介绍MAG这一网络智能体基准测试，统一任务执行与引导写作，有基于截图的定位方案和完整工具包。用其评估模型并详细分析，还设计GRPO训练方法，提升智能体成功率与引导质量，指出当前模型任务完成率低，为后续研究提供方向。

Comments 8 pages main text, 21 pages total including appendices; 11 figures, 7 tables, 2 algorithms. Benchmark, harness, and model checkpoints to be released

ArogyaSutra: A Multi-Agent Framework for Multimodal Medical Reasoning in Indic Languages

ArogyaSutra：面向印度语言的多模态医学推理的多智能体框架

Tanmoy Kanti Halder, Akash Ghosh, Subhadip Baidya, Arijit Roy, Sriparna Saha

机构 * Indian Institute of Technology Patna（印度理工学院巴特那分校） ； Indian Institute of Technology Kanpur（印度理工学院坎普尔分校） ； Prasannadeb Women’s College（普拉萨纳德布女子学院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对印度语言医疗场景中多模态大语言模型性能不足的问题，提出多模态医学问答数据集ArogyaBodha和基于演员-评论家的多智能体框架ArogyaSutra，通过工具接地与双记忆机制提升多语言医学推理准确性。

Comments Accepted for publication in IJCAI,2026

TopoAgent: A Self-Evolving Topological Agent for Multimodal Scientific Reasoning

TopoAgent：用于多模态科学推理的自进化拓扑智能体

Mingze Xu, Yinghui Li, Jiayi Kuang, Zhanhui Kang, Di Yin, Ying Shen, Xing Sun, Yuxing Han

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型科学推理难题，提出TopoAgent自进化拓扑框架，用图进化取代线性轨迹，通过前端分解器、DAG组织原子及自适应原子裂变实现，实验证明其显著优于线性智能体框架，为科学推理提供新范式。

Plover: Steering GUI Agents through Plan-Centric Interaction

Plover：通过以计划为中心的交互来操控图形用户界面代理

Madhumitha Venkatesan, Shicheng Wen, Jiajing Guo, Jorge Piazentin Ono, Liu Ren, Dongyu Liu

机构 * University of California, Davis（加利福尼亚大学戴维斯分校） ； Bosch Research North America（博世北美研究院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究针对现实中GUI自动化难题，提出以计划为中心的Plover系统，通过规划器-执行器架构，支持多方式监督与修正，经形成性研究和评估表明，该系统能让GUI自动化更透明、可控与可适应，利于修复故障。

HyMobileAgent: Data-Environment Co-Scaling for Efficient GUI Agents

HyMobileAgent：用于高效GUI代理的数据-环境协同扩展

Hy Vision Team, Huawen Shen, Zhengyang Tang, Shangpin Peng, Liang Wu, Anran Zhang, Weinong Wang, Yiduo Guo, Chenxin Li, Zhengyao Fang, Yang Ding, Junyi Li, Fei Tang, Zheng Ruan, Yi Zhang, Xingran Zhou, Dingchen Yang, Sunqi Fan, Zhiyi Wan, Han Hu, Xin Lai, Pengyuan Lyu, Chengquan Zhang

机构 * PhoneWorld Mock App Factory（手机世界模拟应用工厂） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 研究移动GUI代理在数字环境中的运行，基于Hy3.0-VL-A3B构建HyMobileAgent，开发数据和环境协同扩展框架，集成多种机制和管道，提出渐进式训练方法，解决移动交互关键瓶颈。

AdaTurn: Budget-Aware Test-Time Scaling for Active Visual Perception Agents

AdaTurn：用于主动视觉感知智能体的预算感知测试时缩放

Susan Liang, Chao Huang, Filippos Bellos, Jing Bi, Jason J Corso, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； Univeristy of Michigan（密歇根大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 研究主动视觉感知智能体在不同预算下的任务执行问题，提出AdaTurn框架，通过强制答案DAPO等组件，根据预算调整智能体行为，提高低预算准确率，且能有效转移到多基准测试中。

Dendrite: A Real-Time Python Application for Online Brain-Computer Interface Research and Development

Dendrite：用于在线脑机接口研究与开发的实时Python应用程序

Niko Kroflic, Jan Babič

专题命中 多模态Agent ：multimodal(abstract)

AI总结 研究旨在开发在线脑机接口软件，核心方法是用Python编写Dendrite应用程序，它整合信号采集、解码器训练与实时推理，能同时记录多信号流并并发处理，可重现且开源，为在线BCI范式开发评估提供了系统。

Comments 15 pages, 5 figures

One-for-All Adaptive Radiotherapy Planning Agent: A Foundation Framework for Daily CBCT-guided Radiotherapy

一适用于所有情况的自适应放射治疗计划智能体：基于每日锥束CT引导的放射治疗基础框架

Shaoyan Pan, Kirk Jon Luca, Yuan Gao, Shansong Wang, Mingzhe Hu, Ryan Sanford, Mojtaba Safari, Justin Roper, Zhen Tian, Tonghe Wang, Xiaofeng Yang

专题命中 多模态Agent ：multimodal(abstract)

AI总结 介绍一适用于所有情况的自适应放射治疗计划智能体，它基于统一基础模型，能从每日锥束CT执行在线自适应计划，自主预测关键组件并设计临床计划，经多数据集评估，其准确性和计划质量与临床方案相当，为放射治疗带来新机遇。

Governing Generative AI Across Financial Institutions: A Framework for Generative AI Risk Control

跨金融机构治理生成式AI：符合SR 26-2要求的生成式AI风险控制框架

Dennis Mao, Alessandra Lin, Yixin Kang, Yiqing Wang

机构 * Citigroup（摩根大通） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 针对SR 26-2未覆盖生成式AI的治理难题，本文提出兼容该监管规则的GAICF框架，将模型风险管理原则转化为分层控制结构，助力金融机构合规管控生成式AI应用。