多模态大模型

CAPRA: Scaling Feedback on Software Architecture Deliverables with a Multi-Agent LLM System

CAPRA: 使用多智能体LLM系统对软件架构交付物进行反馈扩展

Marco Becattini, Niccolò Caselli, Matteo Minin, Roberto Verdecchia, Enrico Vicario

机构 * Department of Information Engineering, University of Florence, Florence, Italy（信息工程系，佛罗伦萨大学，意大利佛罗伦萨） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 提出CAPRA多智能体LLM系统，通过多模态文档提取、确定性证据锚定和一致性管理，自动生成软件架构交付物的个性化LaTeX反馈，在10份学生报告中满足88.8%的评估标准。

Comments Accepted for publication at the 38th International Conference on Software Engineering Education and Training

Generative-Model Predictive Planning for Navigation in Partially Observable Environments

部分可观测环境下导航的生成模型预测规划

Thomas Quilter, Yifan Zhu, Guorui Quan, Mingfei Sun, Samuel Kaski

机构 * University of Manchester（曼彻斯特大学） ； Aalto University（阿尔托大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出BeliefDiffusion框架，结合扩散模型和模型预测控制，显式建模多模态信念分布并进行前瞻规划，在合成地图环境中显著优于无模型强化学习和生成方法。

Toward Vibe Medicine: A Self-Evolving Multi-Agent Framework for Clinical Decision Support

迈向振动医学：一种用于临床决策支持的自演化多智能体框架

Qianxue Zhang, Yiming Ren, Shihuan Qin, Xiao Zhang, Liao Zhang, Jinyang Huang, Zhengliang Liu, Chenbin Liu, Hongying Feng, Jingyuan Chen, Yuzhen Ding, Weihang You, Hanqi Jiang, Yi Pan, Yifan Zhou, Junhao Chen, Lifeng Chen, Wei Liu, Tianming Liu, Zengren Zhao, Lian Zhang

机构 * Medical AI Lab, The First Hospital of Hebei Medical University（河北医科大学第一医院医学人工智能实验室） ； Hebei Provincial Engineering Research Center for AI-Based Cancer Treatment Decision-Making, The First Hospital of Hebei Medical University（河北省人工智能癌症治疗决策工程研究中心，河北医科大学第一医院） ； State Key Laboratory of Neurology and Oncology Drug Development（神经与肿瘤药物研发国家重点实验室） ； School of Computing, University of Georgia（佐治亚大学计算学院） ； Department of Radiation Oncology, National Cancer Center/National Clinical Research Center for Cancer/Cancer Hospital and Shenzhen Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College（中国医学科学院北京协和医学院国家癌症中心/国家肿瘤临床医学研究中心/肿瘤医院深圳医院放射治疗科） ； Department of Radiation Oncology, Mayo Clinic（梅奥诊所放射肿瘤科） ； College of Mechanical and Power Engineering, China Three Gorges University（三峡大学机械与动力工程学院） ； Department of Radiation Oncology, Guangzhou Concord Cancer Center（广州康华肿瘤中心放射治疗科） ； Gastrointestinal Disease Diagnosis and Treatment Center, The First Hospital of Hebei Medical University（河北医科大学第一医院胃肠疾病诊疗中心） ； Department of General Surgery, The First Hospital of Hebei Medical University（河北医科大学第一医院普通外科） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出VIBEMed多智能体框架，通过自演化机制和架构级安全沙箱，从交互历史中动态学习，实现个性化临床决策支持。

HIMM: Human-Inspired Long-Term Memory Modeling for Embodied Exploration and Question Answering

HIMM：面向具身探索与问答的人类启发式长期记忆建模

Ji Li, Bo Wang, Jing Xia, Mingyi Li, Shiyan Hu

机构 * The University of Hong Kong（香港大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出HIMM模型，通过分离事件记忆与语义记忆，提升具身智能在长期观察和有限上下文下的探索与问答能力，实验显示在多个基准测试中表现优异。

Journal ref IROS 2026

CAPED: Context-Aware Privacy Exposure Defense for Mobile GUI Agents

CAPED：面向移动GUI代理的上下文感知隐私暴露防御

Siyu Shen, Fenghao Xu, Wenrui Diao, Kehuan Zhang

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 针对移动GUI代理截图上传导致的附带视觉隐私暴露问题，提出上下文感知的预上传暴露控制层CAPED，通过任务需求提取、屏幕上下文隐私先验和UI元素解析，选择性暴露任务所需内容，在保持高任务效用的同时显著降低隐私泄露。

Atlas: Orchestrating Heterogeneous Models and Tools for Multi-Domain Complex Reasoning

Atlas: 编排异构模型与工具实现多领域复杂推理

Jinyang Wu, Guocheng Zhai, Ruihan Jin, Jiahao Yuan, Yuhao Shen, Shuai Zhang, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CL

AI总结 提出ATLAS双路径框架，通过无监督聚类路由和强化学习多步路由动态选择最优模型-工具组合，在15个基准上超越GPT-4o，分布内外任务分别提升10.1%和13.1%。

Comments Accepted by ACL 2026

LLM-Powered Multi-Agent System for Automated Crypto Portfolio Management

基于LLM的多智能体系统实现自动化加密货币投资组合管理

Yichen Luo, Yebo Feng, Jiahua Xu, Paolo Tasca, Yang Liu

机构 * University College London（伦敦大学学院） ； Nanyang Technological University（南洋理工大学） ； Exponential Science（指数科学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 提出一个三智能体系统（市场、新闻、交易），通过分层、协作和辩论架构融合多模态信号，在2025年回测中实现133.52%累计收益和1.502夏普比率，优于单智能体和深度学习基线。

LabOSBench: Benchmarking Computer Use Agents for Scientific Instrument Control

LabOSBench: 科学仪器控制的计算机使用智能体基准测试

Anqi Zou, Han Deng, Chengyu Zhang, Junquan Hu, Yu Wang, Yuxiang Xing, Aokai Zhang, Hanling Zhang, Zhaoyang Liu, Ben Fei, Zhihui Wang, Wanli Ouyang

机构 * Shenzhen Loop Area Institute（深圳河套学院） ； Dalian University of Technology（大连理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出LabOSBench基准，基于Web科学仪器模拟器评估多模态GUI智能体在仪器控制中的表现，揭示现有智能体在反馈驱动操作和长流程执行上的不足。

FlowMPC: Improving Flow Matching policies with World Models

FlowMPC：利用世界模型改进流匹配策略

Chandon Hamel

机构 * Stanford University（斯坦福大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出FlowMPC框架，结合流匹配模仿策略与学习的世界模型，通过MPPI规划提升测试时性能，在ManiSkill操作任务中显著提高成功率。

CLAD: Constrained Latent Action Diffusion for Vision-Language Procedure Planning

CLAD: 面向视觉-语言程序规划的约束潜在动作扩散模型

Lei Shi, Andreas Bulling

机构 * Machine Perception and Interaction group, Örebro University（机器感知与交互组，奥雷布罗大学） ； Collaborative Artificial Intelligence group, University of Stuttgart（协作人工智能组，斯图加特大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 提出CLAD模型，利用变分自编码器学习动作和观测的潜在表示作为约束，引导扩散模型生成动作，在三个数据集上大幅超越现有方法。

Comments Accepted at RO-MAN 2026

A Multi-Agent AI System for Automated High School Transcript Processing: Collaborative Document Analysis at Scale

用于自动化高中成绩单处理的多智能体AI系统：大规模协作文档分析

Ben Torkian, Jun Zhou

机构 * University of South Carolina（南卡罗来纳大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出一个多智能体AI系统，通过三个专业智能体协作，自动处理不同格式的高中成绩单，以GPA提取作为协调信号，实现96.7%的准确率和每份45秒的处理速度。

Benchmarking Web Agent Safety under E-commerce Deceptive Interfaces

电子商务欺骗性界面下的Web Agent安全基准测试

Zijing Shi, Meng Fang, Ling Chen

机构 * AAII, University of Technology Sydney（悉尼科技大学AAII） ； University of Liverpool（利物浦大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL

AI总结 提出WebDecept框架，在电子商务环境中注入七种常见欺骗性界面模式，测试多模态Web Agent的安全性，发现当前Agent极易受骗且提示约束不足。

Comments Accepted to ACL 2026

LLM-Powered AI Agent Systems and Their Applications in Industry

基于大语言模型的AI智能体系统及其工业应用

Guannan Liang, Qianqian Tong

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文综述了从传统智能体到LLM驱动智能体的演进，分类为软件、物理和自适应混合系统，并讨论了在客服、软件开发、制造、教育、金融和医疗等领域的应用及挑战。

Comments This is the author's accepted version of the paper accepted to appear at IEEE AIIoT 2025. The final version will be available via IEEE Xplore. \c{opyright}2025 IEEE. Personal use of this material is permitted

Automating Geometry-Intensive Compliance Checking in BIM: Graph-Based Semantic Reasoning Framework

BIM中几何密集型合规检查自动化：基于图的语义推理框架

Zixuan Xiao, Pei Troh Koh, Jun Ma, Jack C. P. Cheng

机构 * Department of Urban Planning and Design, The University of Hong Kong（香港大学城市规划与设计系） ； Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学土木与环境工程系） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.AI

AI总结 针对BIM中几何密集型法规自动检查的语义鸿沟问题，提出SGR-BIM图驱动推理框架，通过跨模态知识图谱实现可解释推理，在679个消防规范查询上达到84.3%准确率，较基线提升8.6%。

Journal ref Automation in Construction 189 (2026) 107038

ConsistencyPlanner: Real-time Planning with Fast-Sampling Consistency Models

ConsistencyPlanner: 基于快速采样一致性模型的实时规划

Qichao Zhang, Xing Fang, Jiaqi Fang, Zhenwen Cai, Jie Ling, Qiankun Yu, Dongbin Zhao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Guangzhou Zaofu Intelligent Technology Co., Ltd.（广州造父智能科技有限公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出Consistency Planner框架，利用快速采样一致性模型实现高效多模态采样，并结合注意力增强解码器融合异构特征，在Waymax模拟器中显著提升安全性和实时性。

CoCoSI: Collaborative Cognitive Map Construction for Spatial Intelligence

CoCoSI: 面向空间智能的协作认知地图构建

Yiming Zhang, Ruoxuan Cao, Zhihang Zhong

机构 * Shanghai Jiao Tong University（上海交通大学） ； Cornell University（康奈尔大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种即插即用的多智能体框架，通过协作构建结构化认知地图作为空间记忆，无需修改架构或额外训练即可增强预训练多模态大模型的空间理解能力。

MetaPlate: Counterfactual-Guided RAG-LLM Tool for Personalized Food Recommendation and Hyperglycemia Prevention

MetaPlate: 反事实引导的RAG-LLM工具用于个性化食物推荐和高血糖预防

Asiful Arefeen, Carol Johnston, Hassan Ghasemzadeh

机构 * College of Health Solutions, Arizona State University（亚利桑那州立大学健康解决方案学院） ； School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出MetaPlate框架，结合反事实解释、机器学习预测和RAG-LLM，生成个性化膳食建议以预防餐后高血糖，经注册营养师评估证明其可行性和有效性。

Exploration of Foundation Model-Based Robots in Patient and Elderly Care

基于基础模型的机器人在患者和老年人护理中的探索

Zhiwen Qiu, Wei Liu, Yuexing Hao

机构 * Cornell University（康奈尔大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文综述了基于基础模型的护理机器人在设计特征、用户体验和护理效果方面的现状，指出当前系统多用于语音交互，多模态和物理自主性有限，并呼吁向护理特定评估标准和负责任自主性发展。

Baichuan-M4: A Clinical-Grade Medical Agent System for Continuous Care

Baichuan-M4：面向持续照护的临床级医疗智能体系统

Aiyuan Yang, Canbin Piao, Chengfeng Dou, Da Pan, Dian Wang, Fan Yang, Fei Deng, Fei Li, Guangwei Ai, Hui Liu, Hongda Zhang, Jinyang Tai, Kai Lu, Lijun Liu, Linwei Chen, Linyu Li, Meiqing Guo, Peidong Guo, Qiang Ju, Rihui Xin, Shuai Wang, XinKai Ma, Xudong Chen, Yichuan Mo, Yijie Zhou, Leyi Pan, Yihe Luo, Zian Wang

机构 * Baichuan AI（百川智能） ； THUBPM Group, Tsinghua University（清华大学THUBPM课题组） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出Baichuan-M4临床级医疗大模型，通过统一运行时、持续照护强化学习框架和临床工具层三大支柱构建智能体系统，在多项医疗评估中取得领先结果，幻觉率降至3.3%。

PhysAgent: Automating Physics-Based 4D Synthesis via Trajectory-Grounded Multi-Agent Feedback

PhysAgent: 通过轨迹驱动的多智能体反馈实现基于物理的4D合成自动化

Chunji Lv, Jiaxi Ye, Yuchen Jiang, Rexar Lin, Changsheng Li

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出PhysAgent，首个模拟器在环的多智能体框架，通过解耦材料与外力、利用视觉基础模型提取轨迹并借助LLM常识推理，实现自动化、物理可信的4D运动合成，显著提升生成多样性与物理准确性。

Self-Evolving Scientific Agent Discovers Generalizable Physically-Reasoned Fluid Control

自进化科学智能体发现可泛化的物理推理流体控制

Boai Sun, Wenjin Guo, Zongmin Yu, Liu Yang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出一种由大语言模型驱动的自进化科学智能体工作流，通过迭代代码生成和物理仿真诊断，自动构建可解释的控制器，并在欠驱动双关节狗鲨游泳器目标到达任务中实现零样本泛化。

SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows

SKILL.nb：用于持久代理工作流的选择性形式化与门控执行

Amine El Hattami, Nicolas Chapados, Christopher Pal

机构 * ServiceNow Research ； Mila ； Polytechnique Montréal（蒙特利尔综合理工学院） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出SKILL.nb框架，通过选择性形式化和门控执行管理代理工作流的生命周期可靠性，在WebArena-Verified上单轮成功率达53.7%，重执行保留率91.7%。

Syll: Open-Source Personal Automation with Cross-Surface Execution

Syll: 开源个人自动化与跨界面执行

Bo Zhang, Borui Zhang, Chenghao Jiang, Minglei Shi, Xiaofeng Wang, Zheng Zhu, Jie Zhou, Jiwen Lu

机构 * Adobe Systems Inc.（Adobe系统公司） ； Stardew Valley（《星露谷物语》） ； macOS ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出开源多模态智能体框架Syll，通过统一API、CLI和GUI控制，支持用户演示教学和可审计执行，实现跨界面个人自动化。

Comments Code: https://github.com/THU-SAGE/syll

Blockchain Infrastructure for Intelligent Cyber--Physical--Social Systems:Post-Quantum Security, Interoperability, and Trustworthy Data Economies in the Era of Embodied AI

面向智能信息-物理-社会系统的区块链基础设施：具身AI时代的后量子安全、互操作性与可信数据经济

Song Guo, Huawei Huang, Dongping Liu, Aoyu Zhang, Luyao Zhang

机构 * Hong Kong University of Science and Technology（香港理工大学） ； Sun Yat-sen University（中山大学） ； Amazon Web Services（亚马逊网络服务） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本教程探讨区块链作为协调层，融合后量子密码学与具身AI，实现可扩展、可信的数据经济与跨组织治理。

EVA: Evolving Semantic Adversaries for Red-Teaming GUI Agents Against Environmental Injection Attacks

EVA: 针对环境注入攻击的红队GUI智能体的演化语义对抗方法

Yijie Lu, Manman Zhao, Tianjie Ju, Zihe Yan, Xinbei Ma, Yuan Guo, Daizong Ding, Gongshen Liu, Zhuosheng Zhang

机构 * School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Independent Researcher（独立研究者） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出EVA框架，通过演化语义对抗载荷攻击多模态大语言模型驱动的GUI智能体，揭示语义欺骗是攻击成功的关键，实现85%攻击成功率且快速收敛。

Comments Accepted by

AutoMedBench: Towards Medical AutoResearch with Agentic AI Models

AutoMedBench: 迈向基于智能体AI模型的医学自动研究

Junqi Liu, Selena Song, Yuhan Wang, Jiawei Mao, Hardy Chen, Xiaoke Huang, Tianhao Qi, Pengfei Guo, Yucheng Tang, Yufan He, Can Zhao, Andriy Myronenko, Dong Yang, Daguang Xu, Yuyin Zhou

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； NVIDIA 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出AutoMedBench，一个工作流感知的基准，通过五阶段工作流（计划、设置、验证、推理、提交）评估自主智能体在医学AI研究中的行为，发现验证阶段最弱而设置阶段最强，验证和提交失败占主导。

From 'What' to 'How' and 'Why': Sharing LLM-Generated Retrospective Summaries of Older Adults' Passive Tracking Data with Remote Family Members

从“是什么”到“怎么样”和“为什么”：与远程家庭成员共享老年人被动追踪数据的LLM生成回顾性摘要

Jiachen Li, Reina Szeyi Chan, Akshat Choube, Xiang Zhi Tan, Elizabeth Mynatt, Varun Mishra

机构 * Northeastern University（东北大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本研究利用大型语言模型（LLM）从多模态追踪数据生成回顾性摘要，通过技术探针和访谈重新设计系统，显著提升了远程家庭成员对摘要的满意度、帮助性、信任和接收意愿，并提出了支持其从“是什么”到“怎么样”和“为什么”的认知转变的设计启示。

From Prompt to Service: An SLM-Based Agent Orchestration Gateway for AI-Driven Virtual Worlds

从提示到服务：基于SLM的AI驱动虚拟世界代理编排网关

Louis Nisiotis, Aimilios Hadjiliasi

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一种基于小语言模型的代理编排网关，通过意图驱动的服务路由解耦虚拟世界客户端与异构AI后端，并在虚拟博物馆测试床中验证了其可行性和效率。

Any2Poster: Any-Source Poster Generation Across Modalities and Domains

Any2Poster: 跨模态和领域的任意源海报生成

Amogh Vinaykumar, Aiden Li, Suozhi Huang, Shilong Liu

机构 * Flower Mound High School（弗洛拉穆恩高中） ； University College London（伦敦大学学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出Any2Poster Bench基准和Any2Poster Agent智能体，实现从多种输入模态和领域生成海报，并通过基于测验和视觉评估的方法验证信息保真度和视觉传达效果。

Comments Project Page: https://github.com/Any2Poster/Any2Poster

PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft

PEAM: 通过经验对比内化的参数化具身智能体记忆在Minecraft中的应用

Yuchen Guo, Junli Gong, Weicheng Wang, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

机构 * Northwestern University（西北大学） ； Northeastern University（东北大学） ； South China University of Technology（华南理工大学） ； Hong Kong Baptist University（香港 Baptist大学） ； Beijing Normal - Hong Kong Baptist University（北京师范大学-香港 Baptist大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出PEAM框架，通过对比内化失败-纠正轨迹对，将经验转化为参数化技能，实现Minecraft中具身智能体的持续学习与高效执行。