多模态大模型

Modality-Native Routing in Agent-to-Agent Networks: A Multimodal A2A Protocol Extension

代理到代理网络中的模态本原路由：一种多模态A2A协议扩展

Vasundra Srinivasan

机构 * AI Architect, Author—Data Engineering for Multimodal AI (O’Reilly)（人工智能架构师，作者—多模态AI的数据工程（O’Reilly）） ； Stanford School of Engineering (April 2026)（斯坦福大学工程学院（2026年4月）） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出MMA2A架构，通过多模态本原路由提升任务准确率，其在跨模态任务中表现优于文本瓶颈基线，尤其在视觉依赖任务中效果显著，但增加了1.8倍的延迟。

Comments 14 pages, 4 figures (TikZ). PDFLaTeX. Supplementary code and experiment artifacts: https://github.com/vasundras/modality-native-routing-a2a-protocol

RadAgents: Multimodal Agentic Reasoning for Chest X-ray Interpretation with Radiologist-like Workflows

RadAgents: 多模态代理推理用于胸片解读的放射科工作流程

Kai Zhang, Corey D Barrett, Jangwon Kim, Lichao Sun, Tara Taghavi, Krishnaram Kenthapadi

机构 * Oracle Health AI ； Lehigh University（莱荷大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 RadAgents通过结合临床先验知识和任务感知的多模态推理，构建模块化、可审计的放射科工作流程，提升胸片解读的可靠性与临床一致性。

Comments MIDL 2026

A Multimodal Clinically Informed Coarse-to-Fine Framework for Longitudinal CT Registration in Proton Therapy

一种多模态的临床导向粗到细框架用于质子治疗纵向CT配准

Caiwen Jiang, Yuzhen Ding, Mi Jia, Samir H. Patel, Terence T. Sio, Jonathan B. Ashman, Lisa A. McGee, Jean-Claude M. Rwigema, William G. Rule, Sameer R. Keole, Sujay A. Vora, William W. Wong, Nathan Y. Yu, Michele Y. Halyard, Steven E. Schild, Dinggang Shen, Wei Liu

机构 * Department of Radiation Oncology, Mayo Clinic, Phoenix, Arizona, USA（梅奥诊所放射肿瘤科） ； School of Biomedical Engineering, ShanghaiTech University, Shanghai, China（上海科技大学生物医学工程学院） ； Shanghai United Imaging Intelligence Co., Ltd., Shanghai 200230, China（上海联合影像智能科技有限公司） ； Shanghai Artificial Intelligence Laboratory, Shanghai 200232, China（上海人工智能实验室） ； Shanghai Clinical Research and Trial Center, Shanghai 201210, China（上海临床研究与试验中心） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出一种多模态的临床导向粗到细框架，结合质子放疗工作流程中的多种信息，提升纵向CT配准的准确性和临床适用性。

Towards Scalable Lightweight GUI Agents via Multi-role Orchestration

通过多角色编排实现可扩展的轻量级GUI代理

Ziwei Wang, Junjie Zheng, Leyang Yang, Sheng Zhou, Xiaoxuan Tang, Zhouhua Fang, Zhiwei Liu, Dajun Chen, Yong Li, Jiajun Bu

机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University（浙江可及感知与智能系统重点实验室，浙江大学） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； AntGroup（蚂蚁集团） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出LAMO框架，通过多角色编排提升轻量级GUI代理的任务扩展性，开发出支持单体执行和多代理系统编排的LAMO-3B代理，结合先进规划器实现持续性能提升。

Comments Findings of ACL 2026

UI-Copilot: Advancing Long-Horizon GUI Automation via Tool-Integrated Policy Optimization

UI-Copilot: 通过工具集成策略优化推进长周期GUI自动化

Zhengxi Lu, Fei Tang, Guangyi Liu, Kaitao Song, Xu Tan, Jin Ma, Wenqi Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

机构 * Zhejiang University（浙江大学） ； Apple（苹果公司） ； Tencent（腾讯） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)

AI总结 本文提出UI-Copilot框架，通过分离持久观察与临时执行上下文实现内存解耦，结合工具集成策略优化提升长周期GUI任务性能，实验显示其在MemGUI-Bench和AndroidWorld上均优于现有模型。

Spatial Atlas: Compute-Grounded Reasoning for Spatial-Aware Research Agent Benchmarks

空间图谱：面向空间感知研究代理的计算导向推理

Arun Sharma

机构 * University of Minnesota, Twin Cities（明尼苏达大学，双城分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出计算导向推理(CGR)框架，通过确定性计算解决子问题后再由语言模型生成答案，构建了空间图谱系统，用于评估FieldWorkArena和MLE-Bench两个挑战性基准，通过结构化空间场景图引擎和熵引导动作选择提升空间推理的准确性和可解释性。

Comments 11 pages. Code: https://github.com/arunshar/spatial-atlas

Avenir-UX: Automated UX Evaluation via Simulated Human Web Interaction with GUI Grounding

Avenir-UX：通过模拟人类网络交互进行自动用户体验评估

Wee Joe Tan, Zi Rui Lucas Lim, Shashank Durgad, Karim Obegi, Aiden Yiliu Li

机构 * University College London（伦敦大学学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 Avenir-UX通过模拟人类交互行为，提供标准化的可用性评估，结合GUI接地技术，提升用户体验评估的效率和准确性，支持持续、可扩展的数据驱动测试。

ViBES: A Conversational Agent with Behaviorally-Intelligent 3D Virtual Body

ViBES：一个具有行为智能的3D虚拟身体对话代理

Juze Zhang, Changan Chen, Xin Chen, Heng Yu, Tiange Xiang, Ali Sartaz Khan, Shrinidhi K. Lakshmikanth, Ehsan Adeli

机构 * Stanford University（斯坦福大学） ； ByteDance（字节跳动） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 ViBES通过联合规划语言和运动，实现对话条件下的身体动作生成，提升了多轮对话中的社会交互能力。

Comments Project page: https://ai.stanford.edu/~juze/ViBES/. Accepted by CVPR 2026

MAS-Bench: A Unified Benchmark for Shortcut-Augmented Hybrid Mobile GUI Agents

MAS-Bench：一种统一的快捷键增强混合移动GUI代理基准测试

Pengxiang Zhao, Guangyi Liu, YaoZhen Liang, Weiqing He, Zhengxi Lu, WenHao Wang, Yuehao Huang, Yuxiang Chai, Zhaolu Kang, Yaxuan Guo, Hao Wang, Kexin Zhang, Liang Liu, Yong Liu

机构 * Zhejiang University（浙江大学） ； vivo AI Lab（vivo AI实验室） ； Peking University（北京大学） 纠错

专题命中 多模态Agent ：MLLM(abstract)；分类 cs.AI

AI总结 本文提出MAS-Bench，用于评估结合GUI和快捷键的混合移动自动化代理，包含139个任务和9个评估指标，实验显示混合代理在效率上优于纯GUI代理。

Clustering sequence data with mixture Markov chains with covariates using multiple simplex constrained optimization routine (MSiCOR)

利用多重简单形约束优化程序（MSiCOR）对带有协变量的混合马尔可夫链进行序列数据聚类

Priyam Das, Deborshee Sen, Debsurya De, Jue Hou, Zahra S. H. Abad, Nicole Kim, Zongqi Xia, Tianxi Cai

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 本文提出一种基于模式搜索的全局优化方法，用于在简单形集合上优化目标函数，从而改进混合马尔可夫模型（MMM）参数估计。该方法在MS患者治疗序列聚类中表现出色，并结合协变量进行患者分群。

Learning Probabilistic Responsibility Allocations for Multi-Agent Interactions

多智能体交互中的概率责任分配学习

Isaac Remy, Caleb Chang, Karen Leung

机构 * University of Washington, Department of Aeronautics and Astronautics（华盛顿大学航空航天系） ； NVIDIA 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出一种学习多智能体交互中概率责任分配模型的方法，通过条件变分自动编码器的潜在空间和多智能体轨迹预测技术，实现基于场景和智能体上下文的责任分配分布学习，展示了在INTERACTION驾驶数据集上的强预测性能和可解释性。

Safe and Nonconservative Contingency Planning for Autonomous Vehicles via Online Learning-Based Reachable Set Barriers

通过基于在线学习的可达集屏障实现自主车辆的安全非保守应急规划

Rui Yang, Lei Zheng, Shuzhi Sam Ge, Jun Ma

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； National University of Singapore（新加坡国立大学） ； Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出基于在线学习的实时应急轨迹优化框架，通过动态量化多模态HV不确定性并逐步细化其可达集，确保安全性和效率，在不确定环境下提升驾驶效率和乘客舒适度。

Comments 16 pages, 13 figures

Journal ref IEEE Trans. Control Syst. Technol., 2026, pp.1-16

Hybrid Attention Model Using Feature Decomposition and Knowledge Distillation for Glucose Forecasting

基于特征分解和知识蒸馏的混合注意力模型用于血糖预测

Ebrahim Farahmand, Shovito Barua Soumma, Nooshin Taheri Chatrudi, Hassan Ghasemzadeh

机构 * College of Health Solutions at Arizona State University（亚利桑那州立大学健康解决方案学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出GlucoNet系统，通过特征分解和知识蒸馏提升血糖预测精度与效率，实现更准确的实时预测与干预。

Comments Final accepted version. IEEE TMC Journal