多模态大模型

MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents

MetaSpace：面向具身智能体空间认知的变形测试

Gengyang Xu, Dongwei Xiao, Yiteng Peng, Shuai Wang

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态Agent ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 MetaSpace是评估具身智能体空间认知的框架，基于变形测试原则生成测试用例，在三个场景中检测到SOTA MLLM驱动智能体的90422个空间认知错误，其SC分数远低于人类基准。

Comments 30 pages, 17 figures. Published in Proceedings of the ACM on Programming Languages (OOPSLA1)

Journal ref Proceedings of the ACM on Programming Languages, 10, OOPSLA1 (April 2026), 343-372

Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization

用质量多样性优化发现多模态具身智能体的多样化规划策略

Pengfei Xu, Yong Liu, Xiaoya Nan, Qiang Yang, Peilan Xu

机构 * School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态具身智能体现有规划器易因单一规划风格失效导致停滞的问题，提出质量多样性框架，通过进化策略模板构建多样化策略库，实现自适应规划与故障恢复，在ThreeDWorld基准上提升了任务成功率与交互效率。

Comments To appear in ACM MM (MM '26)

Large Multimodal Agents for Intelligent Transportation Systems: Architectures, Evidence, and Deployment Challenges

面向智能交通系统的大型多模态智能体：架构、证据与部署挑战

Muhammad Ayub Sabir, Shaohong Zheng, Zhiyu Qu, Fatima Ashraf, Junbiao Pang

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本综述梳理2023-2026年42个LMAs研究家族，评估其在ITS中的多模态性、性能与部署情况，支持有限编排而非替代，提供评估协议与部署路线图。

Multi-modal Interactive Control of Robotic Arm based on Offline Large Language Models

基于离线大语言模型的机械臂多模态交互控制

Hanxiao Chen

机构 * University of Tokyo（东京大学） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；multimodal(comments)

AI总结 该研究提出“Socratic Models-ChatGLM”算法，基于离线开源大语言模型与PyBullet平台实现机械臂多模态交互控制，可降低成本并解决复杂多步骤机械操作任务。

Comments This research work has been accepted for poster presentation at ICRA 2026 MEI (Multimodal Embodied Interaction in Robots) Workshop. (Here is the workshop-version short paper.)

Journal ref https://ieeexplore.ieee.org/abstract/document/11371765; 2025

FlashRT: Agent Harness for Guiding Agents to Deploy Real-Time Multimodal Applications

FlashRT：用于引导智能体部署实时多模态应用的智能体框架

Krish Agarwal, Zhuoming Chen, Yanyuan Qin, Zhenyu Gu, Atri Rudra, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； AMD（超威半导体公司） ； University at Buffalo（纽约州立大学水牛城分校） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 研究实时多模态应用部署难题，提出FlashRT智能体框架。通过新范式引导编码智能体多阶段转换，将参考实现转为高效部署，在不同GPU上显著提升性能，尤其在专家优化不成熟平台更具扩展性。

MIA: A Visual Analytics System for Multimodal Spectral Imaging Data

MIA：一种用于多模态光谱成像数据的可视分析系统

Hennes Rave, Katharina Kronenberg, Hannes Gödde, Lea Tobergte, Michael Holtkamp, Julia Werner, Peter Bohrer, Fabian Lohöfer, Rickmer Braren, David Clases, Uwe Karst, Lars Linsen

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 提出一种模态无关的可视分析系统MIA，集成光谱预处理、降维、交互分割和相似性分析等全流程，支持层次化嵌入和多模态数据联合分析，通过三个实际案例验证其有效性。

Journal ref Computers & Graphics, Vol. 139, Art. 104727, 2026

Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching

无幻觉的GUI定位：基于无回归的布局感知匹配

Yuke Li, Xuehan Hou

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 该研究提出无回归框架，通过解耦指令理解与布局感知定位，在ScreenSpot-Pro和Mind2Web数据集上显著提升GUI定位的准确率、成功率及元素选择率，抑制了坐标幻觉。

UI-MOPD: Multi-Platform On-Policy Distillation for Unified GUI Agents

UI-MOPD：用于持续GUI智能体学习的多平台策略蒸馏

Niu Lian, Tongbo Chen, Zhehao Yu, Chengzhen Duan, Fazhan Liu, Hui Liu, Pei Fu, Jian Luan, Heng Qu, Shu-Tao Xia, Jinpeng Wang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Xiaomi（小米） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Zhejiang University（浙江大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对构建多平台GUI智能体的挑战，构建高质量数据集Uni-GUI，提出UI-MOPD方法，通过多教师策略蒸馏实现持续学习，动态选教师并转移行为先验，实验证明其能平衡跨平台能力保留与新平台适应。

Comments Technical report. 27 pages, 7 figures, 7 tables

Data Pyramid for Embodied Manipulation: A Survey

用于具身操纵的数据金字塔

Yifan Ye, Yankai Fu, Yaoxu Lv, Bohan Hou, Jun Cen, Lingdong Kong, Duo Zheng, Tianxing Chen, Jiaming Liu, Ziang Cao, Yunfan Lou, Wei Chow, Xian Sun, Yingshuo Wang, Kuangzhi Ge, Xiaowei Chi, Xidong Zhang, Zhibo Pang, Yiwu Zhong, Sirui Han, Zhihe Lu, Weihao Yuan, Qifeng Chen, Michael Yu Wang, Yao Mu, Ziwei Liu, Jianfei Yang, Ping Luo, Shanghang Zhang

机构 * PKU（北京大学） ； NTU（南洋理工大学） ； HKUST（香港科技大学） ； NUS（新加坡国立大学） ； CUHK（香港中文大学） ； HKU（香港大学） ； Duke（杜克大学） ； UCB（加州大学伯克利分校） ； GBU（未提及具体中文名的机构） ； NJU（南京大学） ； SJTU（上海交通大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 研究围绕具身操纵数据生态系统展开，构建跨越五个互补数据源的“数据金字塔”，通过数据配方分析具身基础模型，将数据组成与多种能力联系起来，并讨论了六个开放挑战，为下一代具身系统设计奠定基础。

Comments Awesome Embodied Data Pyramid; Project Page at https://jasper-aaa.github.io/embodied-data-pyramid/ GitHub Repo at https://github.com/worldbench/awesome-embodied-data-pyramid

NormAct: Benchmarking Embodied Agents' Proactive Compliance with Unspoken Social Norms

NormAct：具身规划中隐藏社会规范遵守的基准

Shiyun Zhao, Xinwei Song, Tianyu Guo, Xiaomeng Gao, Mingyuan Liu, Xu Han, Yuanyuan Zhang, Zhenliang Zhang, Xue Feng, Bo Dai

机构 * State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence (BIGAI)（通用人工智能国家重点实验室，北京通用人工智能研究院） ； China Academy of Information and Communications Technology（中国信息通信研究院） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 提出NormAct基准，评估多模态大语言模型在具身规划中遵守隐藏社会规范的能力，发现模型在67.3%情况下达成显式目标，但仅26.4%遵守隐藏规范；提出NormPerceptor方法将任务成功率从24.2%提升至46.7%。

Comments This version revises the paper content and adds substantial details on the benchmark design and experimental setup

Multitask Scanning Probe Microscopy

多任务扫描探针显微镜

Aditya Raghavan, Yu Liu, Ian Mercer, JP Maria, Sergei Kalinin

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)

AI总结 该研究提出多任务扫描探针显微镜，基于多任务高斯过程的闭环工作流程，实现测量位置与模态的自主选择，在AlScN晶圆上验证了其可扩展主动学习应用的价值。

Preference Redirection via Attention Concentration: An Attack on Computer Use Agents

通过注意力集中进行偏好重定向：对计算机使用代理的一种攻击

Dominik Seip, Matthias Hein

机构 * Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)

AI总结 本文提出PRAC攻击，通过重定向模型注意力操纵CUA选择过程，揭示了视觉模态的漏洞，威胁到基于开放权重模型的CUA安全。

Journal ref Conference on Language Modeling (COLM) 2026

ToolVision: Learning When and How to Use Visual Tools with Capability-Aligned Supervision

ToolVision：通过能力对齐监督学习何时以及如何使用视觉工具

Delin Mao, Chenghao Sun, Jingwei Song, Chishui Chen, Linfeng Zhang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态模型工具使用监督错位问题，提出ToolVision方法，通过能力对齐的SFT与RL监督优化工具使用学习，在多个视觉基准上实现性能提升并将公开发布相关资源。

Comments 18 pages, 13 figures

VTO: Visual Tool Orchestration for Video Anomaly Detection

VTO：面向视频异常检测的可视化工具编排

Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； School of Digital Media & Design Art（数字媒体与设计艺术学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对视频异常检测中传统方法泛化差、多模态智能体工具编排难的问题，提出过程监督强化学习框架VTO，结合VAD-Tool工具集，在工具调度上较基线提升10.2%。

Comments Accepted by ACM MM 2026

STEMMA: An Adversarial Multi-Agent Framework for Evaluating Self-Identity Consistency in LLMs

STEMMA：用于评估大语言模型（LLM）自我身份一致性的对抗性多智能体框架

Nuthakki Siva Gopala Krishna, Kanishka Jain

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对LLM自我身份一致性评估问题，提出对抗性多智能体框架STEMMA，结合手动设计的对抗性提示开展实验，发现多数LLM存在自我表征不一致的问题。

Comments 15 pages

Energy-Structured Latent World Models with Neural Time Fields for Physically Constistent Open-World Motion Planning

用于物理一致性开放世界运动规划的能量结构化潜在世界模型与神经时间场

Yapeng Liu, Yuanzhao Zhai, Bo Ding, Huaimin Wang, Lin Wang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 针对开放世界运动规划的物理一致性挑战，提出能量结构化潜在世界模型ELWM，结合物理条件神经时间场PC-NTF，显著提升了运动预测精度与导航成功率，降低了碰撞率与残差。

Comments 9 pages, 5 figures

Reading is not Reasoning: Bridging the Agentic Policy Gap in Vision-Text Compression

阅读并非推理：弥合视觉-文本压缩中的智能体策略差距

Cheng Fan, Junyi Zhou, Tingzhang Luo, RongJian Xu, Qiyanhui Lu, Mingjian Zhu, Hanting Chen, Jianyuan Guo

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.AI

AI总结 该研究针对视觉-文本压缩导致的智能体策略差距，提出CAPS跨模态智能体策略自蒸馏框架，在SearchQA、ALFWorld等数据集上显著提升性能并大幅降低上下文成本。

SCOUT: Self-Checking and Recovery-Aware Tool-Thought Agents for Ultra-Long Egocentric Video Reasoning

SCOUT：面向超长时长自我中心视频推理的自检查与恢复感知工具思维智能体

Keyang Zhong, Kuo Wang, Peng Liu, Quanlong Zheng, Junlin Xie, Zhijia Liang, Yanhao Zhang, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong OPPO Mobile Telecommunications Corp., Ltd.（广东欧珀移动通信有限公司） ； OPPO AI Center（OPPO人工智能中心） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本研究提出SCOUT智能体框架，结合自适应策略与UPS-GRPO方法，解决超长自我中心视频推理的错误传播及信用分配问题，在对应基准上达最优性能且短时长场景仍具竞争力。

Comments Accepted by ACM Multimedia 2026 (MM '26)

Self-Evolving Neuro-Symbolic Skills for Tool-Augmented Spatial Reasoning

面向工具增强空间推理的自演化神经符号技能

Shi-Yu Tian, Zhuo-Xia Wang, Xuan-Yi Zhu, Zhi Zhou, Xinwei Yang, Kun-Yang Yu, Ming Yang, Yang Chen, Yu-Feng Li

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 该研究针对视觉-语言模型在细粒度空间任务上的不可靠问题，提出神经符号框架NeSy-Spatial，通过自演化空间技能提升工具利用精度与空间推理准确率。

Comments 25 pages, 9 figures, 10 tables; includes supplementary material

OmniV2X: A Generative Foundation Planner for Efficient End-to-End Cooperative Driving

OmniV2X：一种用于高效端到端协同驾驶的生成式基础规划器

Juntong Peng, Juanwu Lu, Yupeng Zhou, Can Cui, Yaobin Chen, Ziran Wang

机构 * Purdue University（普渡大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 提出OmniV2X生成式基础模型，通过端到端监督训练和交叉注意力注入，利用多模态多智能体上下文实现高效协同驾驶，在DAIR-V2X-Seq数据集上以少于10%微调数据和1%通信带宽达到最优性能。

Comments Accepted to IROS 2026

Where and How to Prune: An Empirical Study of Visual Token Pruning for GUI Agent Navigation

重新思考GUI视觉代理中历史截图的标记剪枝：语义、空间和时间视角

Daiqiang Li, Zihao Pan, Zeyu Zhang, Xuyang Liu, Shijia Xu, Ronghao Chen, Huacan Wang, Honggang Chen, Linfeng Zhang, Zhangquan Chen, Haiyun Jiang

机构 * Sichuan University（四川大学） ； Sun Yat-sen University（中山大学） ； Australian National University（澳大利亚国立大学） ； Peking University（北京大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态Agent ：MLLM(abstract_cn)；分类 cs.CV

AI总结 本文从语义、空间和时间角度研究GUI视觉代理中历史截图的标记剪枝，发现背景区域对界面状态转换有重要价值，随机剪枝在空间结构保留上更有效，且GUI代理具有近期效应，通过分配更多预算给近期截图可降低计算成本而不影响性能。

Collaborative Multi-Agent Scripts Generation for Enhancing Imperfect-Information Reasoning in Murder Mystery Games

协作多智能体脚本生成以增强谋杀谜游戏中的不完全信息推理

Keyang Zhong, Junlin Xie, Hefeng Wu, Haofeng Li, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出协作多智能体框架，通过生成丰富多模态上下文提升VLMs在叙事推理和欺骗鲁棒性中的表现，解决多玩家游戏中不完全信息下的复杂推理问题。

Comments 9 pages, 5 figures, Findings of ACL 2026

Ethical Framework for Responsible Foundational Models in Medical Imaging

医学影像领域负责任基础模型的伦理框架

Debesh Jha, Gorkem Durak, Abhijit Das, Jasmer Sanjotra, Onkar Susladkar, Suramyaa Sarkar, Ashish Rauniyar, Nikhil Kumar Tomar, Linkai Peng, Sirui Li, Koushik Biswas, Ertugrul Aktas, Elif Keles, Matthew Antalek, Zheyuan Zhang, Bin Wang, Xin Zhu, Hongyi Pan, Deniz Seyithanoglu, Alpay Medetalibeyoglu, Vanshali Sharma, Vedat Cicek, Amir A. Rahsepar, Rutger Hendrix, A. Enis Cetin, Bulent Aydogan, Mohamed Abazeed, Frank H. Miller, Rajesh N. Keswani, Hatice Savas, Sachin Jambawalikar, Daniela P. Ladner, Amir A. Borhani, Concetto Spampinato, Michael B. Wallace, Ulas Bagci

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本研究针对医学影像领域基础模型整合临床实践时的隐私、偏差、可解释性等伦理挑战，提出含隐私保护、偏差应对、人类监督的伦理框架，以平衡创新与医学伦理原则。

Journal ref https://www.frontiersin.org/journals/medicine/articles/10.3389/fmed.2025.1544501/full

SLIM-0.5B: Learning Action-Grounded Predictive Latents for Robot Manipulation

SLIM-0.5B：学习机器人操作的动作基础预测隐变量

Jingkai Wang, Zihan Tang, Gu Zhang, Mingyu Cao, Jiapeng Chen, Jingjiao Zhao, Xiansheng Chen, Pengwei Wang, Lemao Liu, Dejing Dou

机构 * Fudan University（复旦大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Tsinghua University（清华大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 SLIM-0.5B是0.5B参数的紧凑机器人操作策略，通过自监督掩码轨迹预测学习动作基础预测隐变量，性能优于或匹配大型基线，参数量少、推理延迟低、内存占用小。

Comments 18 pages, 11 figures. Project page: https://kzz1031.github.io/slim-project-page/

Skills in Weights, Memory in Code: Hybrid Learning for Memory-Dependent Robot Manipulation

权重中的技能，代码中的记忆：面向依赖记忆的机器人操作的混合学习

Yunhao Zhao, Zhenyang Ni, Haoyang Chen, Ruohan Zhang, Qi Zhu

专题命中 多模态Agent ：multimodal(abstract)

AI总结 针对现实机器人操作的非马尔可夫性，提出混合学习框架 HyMeS，结合编码智能体与马尔可夫 VLA，在 RoboMemArena 上显著提升操作成功率，实现数据高效的组合泛化。

Comments 9 pages, 4 figures, and 3 tables

UnsDrive: Towards Robust End-to-End Autonomous Driving in Unstructured Scenes

UnsDrive：面向非结构化场景的鲁棒端到端自动驾驶

Nanxin Zeng, Ruiqi Song, Xiangyu Guo, Baiyong Ding, Yunfeng Ai

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Waytous Inc.（文远知行公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 针对非结构化采矿环境自动驾驶泛化差的问题，提出UnsDrive规划器，结合未知感知占用表示与流匹配规划器，引入专用损失和评分器，辅以MineLoop模拟器验证，性能优于基线。

Comments 9 pages, 4 figures, conference

Journal ref the 34th ACM International Conference on Multimedia, 2026