多模态大模型

Differentiable Modal Logic for Multi-Agent Diagnosis, Orchestration and Communication

可微模态逻辑用于多智能体诊断、协调与通信

Antonin Sulc

机构 * Lawrence Berkeley National Lab（伯克利劳伦斯国家实验室） ； Berkeley（伯克利） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出可微模态逻辑，通过神经符号方法实现多智能体系统的调试与协调，结合知识注入和多模态推理，提升智能体间的信任与因果推理能力。

Comments 29 pages, 8 figures, 8 tables, Tutorial at 3rd International Conference on Neuro-Symbolic Systems (NeuS)

AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild

AmbiBench：在真实场景中超越单次指令的移动GUI代理基准测试

Jiazheng Sun, Mingxuan Li, Yingying Zhang, Jiayang Niu, Yachen Wu, Ruihan Jin, Shuyu Lei, Pengrongrui Tan, Zongyu Zhang, Ruoyi Wang, Jiachen Yang, Boyu Yang, Jiacheng Liu, Xin Peng

机构 * Fudan University（复旦大学） ； Jilin University（吉林大学） 纠错

专题命中 多模态Agent ：MLLM(abstract)；分类 cs.AI

AI总结 AmbiBench是首个针对移动GUI代理在真实场景中超越单次指令的双向意图对齐的基准测试，通过引入清晰度分类和MUSE框架评估代理在不同清晰度下的表现。

Comments 21 pages, 7 figures

Geo-Code: A Code Framework for Reverse Code Generation from Geometric Images Based on Two-Stage Multi-Agent Evolution

Geo-Code: 一种基于双阶段多智能体演化的几何图像反向代码生成框架

Zhenyu Wu, Yanxi Long, Jian Li, Hua Huang

机构 * School of Artificial Intelligence, Beijing Normal University, Beijing, China（人工智能学院，北京师范大学，北京，中国） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 Geo-Code提出一种基于双阶段多智能体演化的几何图像反向代码生成框架，通过像素级锚定和度量驱动的代码演化提升几何重建精度和视觉一致性。

Comments ICML2026

CHAI: Command Hijacking against embodied AI

CHAI：针对具身AI的命令劫持

Luis Burbano, Diego Ortiz, Qi Sun, Siwei Yang, Haoqin Tu, Cihang Xie, Yinzhi Cao, Alvaro A Cardenas

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 CHAI是一种针对具身AI的物理环境间接提示注入攻击，通过嵌入误导性自然语言指令，利用多模态语言解释能力，有效提升了攻击性能，凸显了对传统对抗鲁棒性之外的防御需求。

Comments This work has been accepted for publication at the IEEE Conference on Secure and Trustworthy Machine Learning (SaTML). The final version will be available on IEEE Xplore

Lemon Agent Technical Report

柠檬代理技术报告

Haipeng Jiang, Kailong Ren, Zimo Yin, Zhetao Sun, Xin Gan, Guangyi Lv, Ming He, Peng Wang, Congli Yin, Hong Pan, Changwen Zhang, Shan Tong, Zhengyu Xu, Zeping Chen, Yubin Huangfu, Yanzhi Xu, Xing Su, Qin Feng, Dong An, Jianping Fan

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 柠檬代理是一种基于AgentCortex框架的多代理系统，通过自适应调度和三级上下文管理策略，优化资源利用和任务处理效率，实现复杂场景下的高准确率表现。

RAPID: Reconfigurable, Adaptive Platform for Iterative Design

RAPID: 可重构、自适应平台用于迭代设计

Zi Yin, Fanhong Li, Shurui Zheng, Jia Liu

机构 * Zi Yin ； Fanhong Li ； Shurui Zheng ； Jia Liu 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 RAPID通过模块化硬件和软件栈实现机器人操作策略的快速迭代与多模态配置的高效实验

Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation

Refer-Agent：一种具有推理和反思的协作多智能体系统用于指引用视频对象分割

Haichao Jiang, Tianming Liang, Wei-Shi Zheng, Jian-Fang Hu

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 Refer-Agent通过协作多智能体系统结合推理与反思机制，提升指引用视频对象分割的性能与灵活性。

Human-AI Co-Embodied Intelligence for Scientific Experimentation and Manufacturing

人类-人工智能协同具身智能用于科学实验与制造

Xinyi Lin, Yuyang Zhang, Yuanhang Gan, Juntao Chen, Hao Shen, Yichun He, Lijun Li, Ze Yuan, Shuang Wang, Chaohao Wang, Rui Zhang, Na Li, Jia Liu

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本研究提出人类-人工智能协同具身智能，通过智能体-物理实验系统提升科学实验与制造的精度与可扩展性。

Resisting Manipulative Bots in Meme Coin Copy Trading: A Multi-Agent Approach with Chain-of-Thought Reasoning

抵制操纵机器人在表情包加密货币复制交易中的应用：一种基于多智能体的链式推理方法

Yichen Luo, Yebo Feng, Jiahua Xu, Yang Liu

机构 * UCL, Centre for Blockchain Technologies（伦敦大学区块链技术中心） ； The University of Hong Kong, FinTech Academy（香港大学金融科技学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出一种基于多智能体和链式推理的复制交易系统，以抵御操纵机器人，通过多模态大语言模型提升预测准确度和经济表现，实现加密货币投资的稳健收益。

Journal ref Proceedings of the ACM Web Conference 2026 (WWW'26)

Mil-SCORE: Benchmarking Long-Context Geospatial Reasoning and Planning in Large Language Models

Mil-SCORE：大型语言模型中长上下文地理空间推理与规划的基准测试

Aadi Palnitkar, Mingyang Mao, Nicholas Waytowich, Vinicius G. Goecks, Xiaomin Lin

机构 * University of Maryland, College Park MD, USA（马里兰大学） ； ERA Lab, University of South Florida, Tampa FL, USA（佛罗里达大学埃拉实验室） ； DEVCOM Army Research Laboratory, Aberdeen Proving Ground MD, USA（国防部陆军研究实验室） ； EEHPC Lab, Johns Hopkins University, Baltimore MD, USA（约翰霍普金斯大学EEHPC实验室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CL

AI总结 Mil-SCORE是首个针对复杂军事规划情景的多跳问题数据集，旨在评估大型语言模型在长上下文地理空间推理与规划中的能力。

WebSTAR: Scalable Data Synthesis for Computer Use Agents with Step-Level Filtering

WebSTAR: 可扩展的数据合成用于计算机使用代理的步级过滤

Yifei He, Pranit Chawla, Yaser Souri, Subhojit Som, Xia Song

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft（微软公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 WebSTAR通过步级过滤技术合成高质量数据，构建了WebSTAR和WebSCORE数据集，并训练了高效的过程奖励模型StepRM，提升计算机使用代理的训练效果和部署效率。

Comments Project website: https://yifei-he.github.io/webstar-website/

PlanTRansformer: Unified Prediction and Planning with Goal-conditioned Transformer

PlanTRansformer: 一种结合目标条件变换器的统一预测与规划

Constantin Selzer, Fabina B. Flohr

机构 * Department of Electrical Engineering and Information Technology, Intelligent Vehicles Lab (IVL), Munich University of Applied Science（电气工程与信息科技系，智能车辆实验室（IVL），慕尼黑应用科学大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 PlanTRansformer通过整合目标条件预测、动态可行性等技术，提升自动驾驶中的预测与规划性能。

Comments Submitted and accepted at IEEE IV 2026

Generative Engine Optimization: A VLM and Agent Framework for Pinterest Acquisition Growth

生成引擎优化：一个面向Pinterest获取增长的VLM和代理框架

Faye Zhang, Qianyu Cheng, Jasmine Wan, Vishwakarma Singh, Jinfeng Rao, Kofi Boakye

机构 * Stanford University（斯坦福大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 Pinterest提出GEO框架，通过微调VLM和AI代理预测用户搜索需求，构建语义连贯的集合页面，提升生成搜索时代的视觉平台流量增长。

UAV-Based Infrastructure Inspections: A Literature Review and Proposed Framework for AEC+FM

基于无人机的基础设施检查：面向AEC+FM的文献综述与提出框架

Amir Farzin Nikkhah, Dong Chen, Bradford Campbell, Somayeh Asadi, Arsalan Heydarian

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文综述了无人机在基础设施检查中的应用，提出框架整合多模态数据与Transformer架构，以提高检测准确性和可靠性，未来研究方向包括轻量级AI模型和合成数据集。

Comments Withdrawn at the request of the authors to allow further revisions

Autonomous Multi-Agent AI for High-Throughput Polymer Informatics: From Property Prediction to Generative Design Across Synthetic and Bio-Polymers

自主多智能体AI用于高通量聚合物信息学：从性质预测到生成设计跨越合成与生物聚合物

Mahule Roy, Adib Bazgir, Arthur da Silva Sousa Santos, Yuwen Zhang

机构 * Institute of Biomedical Engineering University of Oxford（生物医学工程研究所牛津大学） ； Department of Mechanical and Aerospace Engineering University of Missouri–Columbia（机械与航空航天工程系密苏里大学-哥伦比亚分校） ； Center for Engineering, Modeling and Applied Social Sciences Federal University of ABC (UFABC)（工程、建模与应用社会科学中心巴西联邦大学ABC分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一个自主多智能体AI系统，用于高通量聚合物信息学，实现从性质预测到生成设计的跨合成与生物聚合物应用。

Alignment among Language, Vision and Action Representations

语言、视觉和动作表征的一致性

Nicola Milano, Stefano Nolfi

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.AI

AI总结 研究通过训练Transformer智能体执行自然语言指令，发现语言、视觉和动作表征在跨模态中呈现部分共享的语义结构，支持模态无关的语义组织。

Vision-Language-Action (VLA) Models: Concepts, Progress, Applications and Challenges

视觉-语言-动作（VLA）模型：概念、进展、应用与挑战

Ranjan Sapkota, Yang Cao, Konstantinos I. Roumeliotis, Manoj Karkee

机构 * Cornell University（康奈尔大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of the Peloponnese（希腊皮洛斯大学） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.CV

AI总结 本文综述了视觉-语言-动作（VLA）模型的概念、进展、应用与挑战，探讨了其在自动驾驶、医疗机器人等领域的应用及未来发展方向。

MemCtrl: Using MLLMs as Active Memory Controllers on Embodied Agents

MemCtrl: 使用 MLLMs 作为具身智能体的主动内存控制器

Vishnu Sashank Dorbala, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学 College Park分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 MemCtrl 通过使用 MLLMs 的可训练内存头 μ 实现在线内存修剪，提升具身智能体在复杂指令下的任务完成能力。

ECG-Agent: On-Device Tool-Calling Agent for ECG Multi-Turn Dialogue

ECG-Agent: 用于ECG多轮对话的设备端工具调用代理

Hyunseung Chung, Jungwoo Oh, Daeun Kyung, Jiho Kim, Yeonsu Kwon, Min-Gyu Kim, Edward Choi

机构 * KAIST（韩国科学技术院） ； Ajou University School of Medicine（全州大学医学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 ECG-Agent是一种基于LLM的多轮ECG对话工具调用代理，通过ECG-MTD数据集实现了设备端高效且准确的ECG对话处理。

Comments Accepted to ICASSP 2026 (5 pages, 2 figures, 5 tables)

"DIVE" into Hydrogen Storage Materials Discovery with AI Agents

深入探索氢储存材料发现的AI智能体

Di Zhang, Xue Jia, Tran Ba Hung, Seong Hoon Jang, Linda Zhang, Ryuhei Sato, Yusuke Hashimoto, Toyoto Sato, Kiyoe Konno, Shin-ichi Orimo, Hao Li

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 DIVE通过多智能体工作流提升氢储存材料数据提取效率，实现快速逆向设计。

Comments 23 pages, 5 figures. The supplementary video is available at the GitHub link provided in the manuscript

Journal ref Chemical Science 2026

Automated Safety Benchmarking: A Multi-agent Pipeline for LVLMs

自动化安全基准测试：一种用于大型视觉语言模型的多代理流程

Xiangyang Zhu, Yuan Tian, Zicheng Zhang, Qi Jia, Chunyi Li, Renrui Zhang, Heng Li, Zongrui Wang, Wei Sun

机构 * Shanghai AI Lab（上海人工智能实验室） ； PolyU HK（PolyU香港分校） ； East China Normal University（东华大学） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.CL

AI总结 VLSafetyBencher通过多代理流程自动化构建高质量安全基准，有效区分不同模型的安全性，提升LVLMs的安全评估效率。

Why Keep Your Doubts to Yourself? Trading Visual Uncertainties in Multi-Agent Bandit Systems

为何保留你的怀疑？多智能体老虎机系统中的视觉不确定性交易

Jusheng Zhang, Yijia Fan, Kaitong Cai, Jing Yang, Jiawei Yao, Jian Wang, Guanlong Qu, Ziliang Chen, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； University of Washington（华盛顿大学） ； Snap Inc.（Snap公司） ； Syracuse University（雪城大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 Agora通过去中心化市场交易机制提升多智能体系统在视觉任务中的协调效率与经济性。

Comments Accepted to ICLR 2026

Agentic AI for Self-Driving Laboratories in Soft Matter: Taxonomy, Benchmarks,and Open Challenges

代理AI在软物质中的自主实验室：分类、基准和开放挑战

Xuanzhou Chen, Audrey Wang, Stanley Yin, Hanyang Jiang, Dong Zhang

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文探讨了自主实验室在软物质中的应用，提出了基于智能体的环境交互框架，回顾了闭环实验的主要方法，并指出了多模态表示、校准不确定性、安全探索和共享基准基础设施等开放挑战。

SimWorld: An Open-ended Realistic Simulator for Autonomous Agents in Physical and Social Worlds

SimWorld：一种用于物理和社会世界中自主代理的开放式真实模拟器

Jiawei Ren, Yan Zhuang, Xiaokang Ye, Lingjun Mao, Xuhong He, Jianzhi Shen, Mrinaal Dogra, Yiming Liang, Ruixuan Zhang, Tianai Yue, Yiqing Yang, Eric Liu, Ryan Wu, Kevin Benavente, Rajiv Mandya Nagaraju, Muhammad Faayez, Xiyan Zhang, Dhruv Vivek Sharma, Xianrui Zhong, Ziqiao Ma, Tianmin Shu, Zhiting Hu, Lianhui Qin

机构 * UCSD（加州大学圣地亚哥分校） ； UVA（弗吉尼亚大学） ； UIUC（伊利诺伊大学香槟分校） ； JHU（约翰·霍普金斯大学） ； Purdue（Purdue 大学） ； PolyU ； USC（美国南加州大学） ； UMich（密歇根大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 SimWorld是一个基于Unreal Engine 5构建的开放式真实模拟器，旨在开发和评估LLM/VLM代理在复杂物理和社会环境中的能力，通过多代理配送任务验证其推理模式与局限性。

TUN: Detecting Significant Points in Persistence Diagrams with Deep Learning

TUN：利用深度学习在持续图中检测显著点

Yu Chen, Hongwei Lin

机构 * School of Mathematical Sciences Zhejiang University Hangzhou, China（数学科学学院 浙江大学 杭州, 中国） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 TUN通过深度学习方法在持续图中自动检测显著点，提升拓扑数据分析的实用性与可靠性。

Karhunen-Loève Expansion-Based Residual Anomaly Map for Resource-Efficient Glioma MRI Segmentation

基于Karhunen-Loève展开的残差异常图用于资源高效的胶质瘤MRI分割

Anthony Hur

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出基于KLE的残差异常图方法，实现资源高效的胶质瘤MRI分割，显著提升性能并降低计算与数据需求。

Vision Language Action Models in Robotic Manipulation: A Systematic Review

视觉语言动作模型在机器人操作中的应用：系统综述

Muhayy Ud Din, Waseem Akram, Lyes Saad Saoud, Jan Rosell, Irfan Hussain

机构 * Khalifa University Center for Autonomous Robotic Systems (KUCARS), Khalifa University, United Arab Emirates（卡利法大学自主机器人系统中心（KUCARS）、卡利法大学、阿拉伯联合酋长国） ； Institute of Industrial and Control Engineering (IOC), Universitat Politecnica de Catalunya, Spain（工业与控制工程研究所（IOC）、巴塞罗那技术大学、西班牙） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文综述了视觉语言动作模型在机器人操作中的应用，分析了102个模型、26个数据集和12个模拟平台，探讨了多模态对齐和可扩展预训练等关键挑战。

Comments submitted to annual review in control

Probabilistic Mission Design for Neuro-Symbolic Unmanned Aircraft Systems

基于概率的方法用于神经符号无人机系统任务设计

Simon Kohaut, Benedict Flade, Daniel Ochs, Devendra Singh Dhami, Julian Eggert, Kristian Kersting

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出概率任务设计（ProMis）方法，结合神经符号技术，用于在法律框架内导航无人驾驶航空器，通过混合概率逻辑程序和机器学习模型提升任务规划的可靠性和适应性。

Comments arXiv admin note: text overlap with arXiv:2406.03454

EHRNavigator: A Multi-Agent System for Patient-Level Clinical Question Answering over Heterogeneous Electronic Health Records

EHRNavigator: 一种用于异构电子健康记录上患者级临床问答的多智能体系统

Lingfei Qian, Mauro Giuffre, Yan Wang, Huan He, Qianqian Xie, Xuguang Ai, Xeuqing Peng, Fan Ma, Ruey-Ling Weng, Donald Wright, Adan Wang, Qingyu Chen, Vipina K. Keloth, Hua Xu

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL

AI总结 EHRNavigator通过多智能体系统在异构电子健康记录上实现患者级临床问答，展示出高准确率和高效响应，有效连接基准评估与临床应用。

An intelligent agent-based simulation of human mobility in extreme urban morphologies

基于智能代理的极端城市形态中人类移动性模拟

Abderaouf Bahi, Amel Ourici

机构 * Computer Science and Applied Mathematics Laboratory (LIMA) Faculty of Science and Technology（计算机科学与应用数学实验室（LIMA）理学院） ； Faculty of Science and Technology, Chadli Bendjedid University（科学与技术学院，Chadli Bendjedid大学） ； Mathematical Modeling and Numerical Simulation Laboratory (LAM2SIN) Faculty of Technology（数学建模与数值模拟实验室（LAM2SIN）技术学院） ； Faculty of Technology, Badji Mokhtar University（技术学院，Badji Mokhtar大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出了一种混合模拟框架，通过整合强化学习和图神经网络，实现了在极端城市形态中高效且可持续的移动性解决方案。