多模态大模型

Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks

Agent-X：评估视觉中心智能体任务中的深度多模态推理

Tajamul Ashraf, Amal Saqib, Hanan Ghani, Muhra AlMahri, Yuhao Li, Noor Ahsan, Umair Nawaz, Jean Lahoud, Hisham Cholakkal, Mubarak Shah, Philip Torr, Fahad Shahbaz Khan, Rao Muhammad Anwer, Salman Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； University of Central Florida（中央佛罗里达大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出Agent-X基准，通过828个真实视觉任务和细粒度步骤评估框架，揭示当前模型在多步视觉推理中全链成功率低于50%的瓶颈。

Comments Accepted in International Conference of Learning Representations (ICLR 2026)

Parameter Efficient Multi-Class Intelligent Scheduling for Multimodal Online Distributed Industrial Anomaly Detection

面向多模态在线分布式工业异常检测的参数高效多类智能调度

Heqiang Wang, Weihong Yang, Zheyuan Yang, Jia Zhou, Xiaoxiong Zhong, Fangming Liu, Weizhe Zhang

机构 * Pengcheng Laboratory（鹏城实验室） ； Shenzhen International Graduate School（深圳国际研究生院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对工业异常检测中分布式、持续生成数据的特点，提出多模态在线分布式工业异常检测框架，通过多类智能调度问题和序列边际增益贪婪算法协调模型更新，并采用资源高效类级低秩适应策略降低系统开销，在MVTec 3D-AD和Eyecandies数据集上取得优越性能。

MMUEChange: A Generalized LLM Agent Framework for Intelligent Multi-Modal Urban Environment Change Analysis

MMUEChange：面向智能多模态城市环境变化分析的通用LLM智能体框架

Zixuan Xiao, Jun Ma, Siwei Zhang

机构 * Department of Urban Planning and Design, The University of Hong Kong（香港大学城市规划与设计系） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 提出MMUEChange多模态智能体框架，通过模块化工具包和模态控制器实现异构城市数据灵活集成与跨模态对齐，在三个城市案例中任务成功率提升46.7%并有效缓解幻觉。

Journal ref Applied Soft Computing 190 (2026) 114576

AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions

AgentHijack：基准测试计算机使用智能体对常见环境干扰的鲁棒性

Jingwei Sun, Jianing Zhu, Yuanyi Li, Tongliang Liu, Xia HU, Bo Han

机构 * TMLR Group, Hong Kong Baptist University（香港 Baptist 大学 TMLR 团体） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Sydney AI Centre, The University of Sydney（悉尼大学 AI 中心） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出AgentHijack基准，通过9种可配置的常见环境干扰评估多模态大语言模型驱动的计算机使用智能体的鲁棒性，并设计AgentHijack-Agent框架提升其抗干扰能力。

Comments accepted by ICML 2026

AgentGrounder: Zero-Shot 3D Visual Pointcloud Grounding using Multimodal Language Models

AgentGrounder：使用多模态语言模型的零样本3D视觉点云定位

Cuong Huynh, Maxim Popov, Denis Gridusov, Sergey Kolyubin

机构 * Biomechatronics and Energy-Efficient Robotics (BE2R) Lab, ITMO University（生物机械与高效能机器人实验室，ITMO大学） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV

AI总结 提出AgentGrounder框架，通过两阶段设计（离线构建对象查找表和在线工具驱动代理）实现零样本3D视觉定位，在ScanRefer和Nr3D上分别提升2.5%和6.3%的准确率。

Comments Code: https://github.com/be2rlab/AgentGrounder

Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses

具身人工智能的安全性：风险、攻击与防御综述

Xiao Li, Xiang Zheng, Yifeng Gao, Xinyu Xia, Yixu Wang, Xin Wang, Ye Sun, Yunhan Zhao, Ming Wen, Jiayu Li, Zixing Chen, Xun Gong, Yi Liu, Yige Li, Yutao Wu, Cong Wang, Jun Sun, Yixin Cao, Zhineng Chen, Jingjing Chen, Tao Gui, Qi Zhang, Zuxuan Wu, Xipeng Qiu, Xuanjing Huang, Tiehua Zhang, Zhipeng Wei, Kun Wang, Xinfeng Li, Hanxun Huang, Sarah Erfani, James Bailey, Jianping Wang, Chaowei Xiao, Ran He, Bo Li, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； City University of Hong Kong（香港城市大学） ； Jilin University（吉林大学） ； Singapore Management University（新加坡管理大学） ； Deakin University（德肯大学） ； Tongji University（同济大学） ； Nanyang Technological University（南洋理工大学） ； Chinese Academy of Sciences（中国科学院） ； The University of Melbourne（墨尔本大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了具身AI在感知、认知、规划、行动及交互全流程中的安全风险、攻击与防御方法，提出了多层次分类体系，并指出了多模态感知融合脆弱性、规划不稳定及人机交互可信度等关键挑战。

Comments Survey paper; 75 pages, 4 figures, 18 tables; v2 expands embodied-specific coverage of agentic threats, World Action Model threats, and contextual risk mitigation, with over 100 new references added. Project page: https://x-zheng16.github.io/Awesome-Embodied-AI-Safety/

Towards Reliable Fetal Ultrasound Interpretation with Multi-Agent Collaboration

面向可靠胎儿超声解读的多智能体协作

Xiaotian Hu, Mingxuan Liu, Junwei Huang, Kasidit Anmahapong, Yifei Chen, Yiming Huang, Xuguang Bai, Zihan Li, Hongjia Yang, Yingqi Hao, Hong Xu, Yu Jiang, Tian Tian, Yi Liao, Haibo Qu, Qiyuan Tian

机构 * Tsinghua University（清华大学） ； University of California San Diego（加州大学圣地亚哥分校） ； West China Second University Hospital, Sichuan University（四川大学西昌医学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出FetUSAgents多智能体系统，通过协作LLM代理和双路径证据仲裁（DPEA）整合视觉工具与临床推理，在胎儿超声VQA、报告生成等任务上超越最强基线25%以上。

ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop

ESI-Bench: 迈向闭环感知-动作的具身空间智能

Yining Hong, Jiageng Liu, Han Yin, Manling Li, Leonidas Guibas, Li Fei-Fei, Jiajun Wu, Yejin Choi

机构 * Stanford University（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Northwestern University（西北大学） 纠错

专题命中 多模态Agent ：MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出ESI-BENCH基准，通过主动探索（感知、移动、操作）在OmniGibson环境中评估具身空间智能，发现主动探索显著优于被动方法，失败主因是动作盲视而非感知弱，且模型存在元认知差距。

Comments https://esi-bench.github.io/

Why We Need World Models for AGI: Where LLMs Fail and How World Models May Outperform

为什么我们需要世界模型来实现通用人工智能：大语言模型失败之处以及世界模型如何可能超越

Feisal Alaswad, Batoul Aljaddouh, Maher Alrahhal, Poovammal E, Talal Bonny

机构 * Department of Computing Technologies（计算技术系） ； SRM Institute of Science and Technology（SRM科学与技术学院） ； Bio-Sensing and Bio-Sensors Group（生物传感与生物传感器组） ； Smart Automation and Communication Technologies Research Institute of Sciences and Engineering（科学与工程智能自动化与通信技术研究所） ； University of Sharjah, UAE（阿联酋沙迦大学） ； Department of Computer Engineering（计算机工程系） ； College of Computing and Informatics（计算与信息学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过提出潜在动态推理（LDI）概念和Flux环境案例研究，论证了大语言模型在因果推理、状态跟踪和长程规划上的局限性，并展示基于显式状态空间的强化学习智能体在长程游戏中显著优于纯文本LLM。

Comments 19 pages, 5 figures

Agent-Centric Social Trajectory Prediction: A Free Energy Principle Perspective

以智能体为中心的社交轨迹预测：自由能原理视角

Yanping Wu, Ji Zhang, Hao Chen, Edmond S. L. Ho, Chongfeng Wei

机构 * University of Glasgow（格拉斯哥大学） ； Southwest Jiaotong University（西南交通大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 针对现有轨迹预测方法依赖全局状态、部分可观测下信念推理不足及缺乏认知行为约束的问题，提出基于自由能原理的智能体中心轨迹预测框架FEP-Diff，通过双分支时空编码器、目标条件信念学习器和残差扩散轨迹生成器，在受限可观测条件下实现认知合理的预测。

Comments 10 pages, 4 figures

ScrapMem: A Bio-inspired Framework for On-device Personalized Agent Memory via Optical Forgetting

ScrapMem: 一种基于生物启发的光学遗忘机制用于设备端个性化智能体记忆

Jiale Chang, Yuxiang Ren

机构 * Nanjing Agricultural University（南京农业大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出ScrapMem框架，通过光学遗忘机制压缩旧记忆并构建情节记忆图，在资源受限设备上实现高效多模态长期记忆，在ATM-Bench上取得51.0% Joint@10新最优，存储降低93%，召回率提升至70.3%。

Comments 10 pages, 4 figures

SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?

SaaS-Bench：计算机使用代理能否利用真实世界SaaS解决专业工作流程？

Kean Shi, Zihang Li, Tianyi Ma, Zengji Tu, Jialong Wu, Xinbo Xu, Qingyao Yang, Ruoyu Wu, Weichu Xie, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang

机构 * UniPat AI ； PKU（北京大学） ； HKU（香港大学） ； G Labs（0G实验室） ； Pipeline Lab（Pipeline实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出SaaS-Bench基准，包含23个可部署SaaS系统和106个真实工作场景任务，评估计算机使用代理在长期规划、跨应用协调等能力上的表现，发现最强模型端到端任务完成率不足4%。

Comments 24 pages, 11 figures

Hide-and-Shill: A Reinforcement Learning Framework for Market Manipulation Detection in Symphony-a Decentralized Multi-Agent System

Hide-and-Shill：面向交响乐系统中市场操纵检测的强化学习框架——一个去中心化多智能体系统

Ronghua Shi, Yiou Liu, Yuchun Feng, Lynn Ai, Bill Shi, Zhuang Liu

机构 * Department of Information Systems, City University of Hong Kong（香港城市大学信息系统系） ； Business School, University of New South Wales（新南威尔士大学商学院） ； Division of Engineering Science, University of Toronto（多伦多大学工程科学系） ； ProphetAI Data Technology Co., Ltd.（ProphetAI数据技术有限公司） ； Gradient, 3 FRASER STREET DUO TOWER, SINGAPORE（Gradient新加坡办公室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 提出一个多智能体强化学习框架，通过动态对抗博弈建模操纵者与检测者的交互，利用延迟代币价格反应识别可疑模式，并集成GRPO、理论奖励函数和多模态智能体管道，在去中心化交响乐系统中实现无需中心化预言机的鲁棒操纵检测。

Harnessing AtomisticSkills for Agentic Atomistic Research

利用原子技能实现代理原子研究

Bowen Deng, Bohan Li, Matthew Cox, Hoje Chun, Juno Nam, Artur Lyssenko, Sathya Edamadaka, Jurgis Ruza, Xiaochen Du, Nofit Segal, Jesus Diaz Sanchez, Mingrou Xie, Ty Perez, Yu Yao, Miguel Steiner, Sauradeep Majumdar, Charles B. Musgrave, Anirban Chandra, Abhirup Patra, Detlef Hohl, Connor W. Coley, Ju Li, Rafael Gómez-Bombarelli

机构 * Department of Materials Science ； Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA ； Department of Chemical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA ； Department of Chemistry, Kookmin University, Seoul 02707, Republic of Korea ； Harvard University, Department of Chemistry ； Department of Chemistry, Massachusetts Institute of Technology, Cambridge, MA 02139, USA ； Department of Nuclear Science ； Shell Information Technology International Inc., Texas 77082, United States ； Shell International Exploration \& Production Inc., Texas 77079, United States 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出AtomisticSkills框架，通过分层分解科学工作流为技能和工具，使通用AI编码代理能够进行原子级研究，并在多个科学任务中验证其能力。

Meta-Modal Agent: Sequential Evidence Routing for Missing-Modality Candidate Reranking

元模态智能体：面向缺失模态候选重排序的序列证据路由

Jinze Wang, Yangchen Zeng, Tiehua Zhang, Lu Zhang, Yuze Liu, Zhishu Shen, Jiong Jin, Zhu Sun

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出元模态智能体（MMA），将缺失模态问题转化为序列证据路由任务，通过基于大语言模型的候选池重排序器，结合平衡缺失任务强化学习，在冷启动场景下显著提升推荐性能。

Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance

Afford-VLA：通过内化可操作性实现动作对齐的视觉规划

Runze Wang, Yuqian Fu, Yu Li, Tao Lin, Tianwen Qian, Mohamed Elhoseiny, Bo Zhao, Yanwei Fu, Yu-Gang Jiang, Xiangyang Xue

机构 * Fudan University（复旦大学） ； KAUST（康斯坦丁·亚历山大科研大学） ； SJTU（上海交通大学） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出Afford-VLA框架，通过内化任务条件可操作性作为显式视觉规划接口，利用可学习<AFF>令牌查询交互区域并解码为紧凑嵌入以直接条件化动作生成，在多个模拟基准上取得最先进性能。

Comments 20 pages