多模态大模型

MagicSim: A Unified Infrastructure for Executable Embodied Interaction

MagicSim: 可执行具身交互的统一基础设施

Haoran Lu, Songling Liu, Yue Chen, Guo Ye, Mutian Shen, Shuyang Yu, Yu Xiao, Jihai Zhao, Shang Wu, Jianshu Zhang, Xiangtian Gui, Chuye Hong, Yuran Wang, Maojiang Su, Jiayi Wang, Ruihai Wu, Zhaoran Wang, Han Liu

机构 * Northwestern University（西北大学） ； Peking University（北京大学） ； University of California, Berkeley（加州大学伯克利分校） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MagicSim，一个基于确定性批处理运行时和共享MDP的具身交互基础设施，通过YAML规范解耦内容、放置、行为和智能体暴露，统一世界构建、执行、评估和自动生成轨迹。

VisualClaw: A Real-Time, Personalized Agent for the Physical World

VisualClaw：面向物理世界的实时个性化智能体

Haoqin Tu, Jianwen Chen, Zijun Wang, Siwei Han, Juncheng Wu, Hardy Chen, Haonian Ji, Kaiwen Xiong, Jiaqi Liu, Peng Xia, Jieru Mei, Hongliang Fei, Jason Eshraghian, Zeyu Zheng, Yuyin Zhou, Huaxiu Yao, Cihang Xie

机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； Google（谷歌） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出VisualClaw，一种自进化多模态智能体，通过混合编码和技能进化机制降低部署成本并提升准确性，在多个视频QA基准上实现平均-98%的API成本削减和最高+15.80%的准确率提升。

Comments H. T. and J. C. contribute to this project equally

ScoutVLA: UAV-Centric Active Perception via a Dual-Expert VLA Model for Open-World Embodied Question Answering

ScoutVLA：面向开放世界具身问答的无人机中心主动感知双专家VLA模型

Wenhao Lu, Zhengqiu Zhu, Xiaofeng Wang, Xiaoran Zhang, Yatai Ji, Yong Zhao, Yue Hu, Yingzhen Nie, Jinlong Zhu, Zheng Zhu

机构 * National Key Laboratory of Digital Intelligent Modeling and Simulation, National University of Defense Technology（国防科技大学数字智能建模与仿真国家重点实验室） ； GigaAI 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对无人机在室外具身问答中细粒度视角调整不足的问题，提出ScoutVLA模型，采用解耦双专家架构（视觉语言专家推断语义意图，动作专家生成连续视角调整轨迹），并通过知识隔离机制平衡连续控制与语义推理，在仿真和真实实验中显著优于基线方法。

Perceive, Interact, Reason: Building Tool-Augmented Visual Agents for Spatial Reasoning

感知、交互、推理：构建工具增强的视觉智能体用于空间推理

Changye Li, Meng Lu, Yi Wu, Ligeng Zhu

机构 * Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； NVIDIA（英伟达） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出PERIA智能体，通过视觉感知和交互工具增强VLM的空间推理能力，在13个基准上优于同类模型7.0%-14.8%。

DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners?

DIRECT: 在具身规划器中何时何地分配测试时计算？

Jadelynn Dao, Milan Ganai, Yasmina Abukhadra, Ajay Sridhar, Mozhgan Nasr Azadani, Katie Luo, Clark Barrett, Jiajun Wu, Chelsea Finn, Marco Pavone

机构 * Stanford University（斯坦福大学） ； University of Waterloo（滑铁卢大学） ； NVIDIA（英伟达） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出DIRECT路由框架，根据多模态场景上下文按提示分配计算资源，优化成功-成本帕累托前沿，实验表明不同缩放轴带来不同能力增益，在物理机器人上以更低延迟匹配或超越更强模型。

AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning

AdvDex：通过关节对齐动作与对抗学习从人类演示中学习灵巧操作

Zhiyue Zhao, Jingyi Wu, Hairuo Liu, Mingyu Liu, Liyang Li, Hengdi Zhang, Tong He, Zhengxue Cheng

机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Paxini Tech（帕西尼科技） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 AdvDex是一种统一视觉-语言-动作框架，通过OmniShare数据集、JAAS动作空间与领域对抗学习，实现从人类和机器人演示中学习灵巧操作，提升跨实体泛化与技能迁移能力。

Lines and Ladders: A Context-Aware Multi-Agent Framework for Large-Scale Retail Price Taxonomy

Lines and Ladders：面向大规模零售价格分类的上下文感知多智能体框架

Ravi Teja Chunduri, Srikaran Reddy Boya, Deep Narayan Mishra, Ajay Kumar B, Karthik Kumaran, Pranay Kona

机构 * Walmart Global Tech（沃尔玛全球科技） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 针对大规模零售商品定价管理难题，提出上下文感知多智能体框架自动化构建Lines and Ladders价格分类，3智能体系统在Lines任务F1达0.83，在多品类数据上表现优异且已投入生产。

Comments 8 pages. Accepted in the Main Conference of IEEE ICMLA 2026

Multi-Agent Target-Existence Verification and Learned Mask Geometry Refinement: Winning Report of the MeViS-Text Track at the 8th LSVOS Challenge 2026

多智能体目标存在性验证与学习型掩码几何优化：2026年第8届LSVOS挑战赛MeViS-Text赛道获胜报告

Jungyoon Lee, Gyuil Lim, Doeon Kim, Seong-heum Kim

机构 * Soongsil University（崇实大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出SSUPER方案，通过多智能体审计解耦存在性验证、StyleRefiner优化掩码几何，获2026年LSVOS挑战赛MeViS-Text赛道冠军，最终得分0.9081339614。

XCoT-VLA: Executable Chain-of-Thought for Vision-Language-Action Driving

XCoT-VLA：面向视觉-语言-动作自动驾驶的可执行思维链

Foundation Model Team, XPeng Inc

机构 * XPeng Inc（小鹏汽车） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 该研究提出XCoT-VLA，用可执行CoT令牌替代自然语言CoT，结合Reason FFN与Control FFN实现轨迹生成，在自动驾驶任务中降低了误差并满足实时规划要求。

Energy-Structured Latent World Models with Neural Time Fields for Physically Constistent Open-World Motion Planning

用于物理一致性开放世界运动规划的能量结构化潜在世界模型与神经时间场

Yapeng Liu, Yuanzhao Zhai, Bo Ding, Huaimin Wang, Lin Wang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 针对开放世界运动规划的物理一致性挑战，提出能量结构化潜在世界模型ELWM，结合物理条件神经时间场PC-NTF，显著提升了运动预测精度与导航成功率，降低了碰撞率与残差。

Comments 9 pages, 5 figures

Reading is not Reasoning: Bridging the Agentic Policy Gap in Vision-Text Compression

阅读并非推理：弥合视觉-文本压缩中的智能体策略差距

Cheng Fan, Junyi Zhou, Tingzhang Luo, RongJian Xu, Qiyanhui Lu, Mingjian Zhu, Hanting Chen, Jianyuan Guo

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.AI

AI总结 该研究针对视觉-文本压缩导致的智能体策略差距，提出CAPS跨模态智能体策略自蒸馏框架，在SearchQA、ALFWorld等数据集上显著提升性能并大幅降低上下文成本。

SCOUT: Self-Checking and Recovery-Aware Tool-Thought Agents for Ultra-Long Egocentric Video Reasoning

SCOUT：面向超长时长自我中心视频推理的自检查与恢复感知工具思维智能体

Keyang Zhong, Kuo Wang, Peng Liu, Quanlong Zheng, Junlin Xie, Zhijia Liang, Yanhao Zhang, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong OPPO Mobile Telecommunications Corp., Ltd.（广东欧珀移动通信有限公司） ； OPPO AI Center（OPPO人工智能中心） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本研究提出SCOUT智能体框架，结合自适应策略与UPS-GRPO方法，解决超长自我中心视频推理的错误传播及信用分配问题，在对应基准上达最优性能且短时长场景仍具竞争力。

Comments Accepted by ACM Multimedia 2026 (MM '26)

Self-Evolving Neuro-Symbolic Skills for Tool-Augmented Spatial Reasoning

面向工具增强空间推理的自演化神经符号技能

Shi-Yu Tian, Zhuo-Xia Wang, Xuan-Yi Zhu, Zhi Zhou, Xinwei Yang, Kun-Yang Yu, Ming Yang, Yang Chen, Yu-Feng Li

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 该研究针对视觉-语言模型在细粒度空间任务上的不可靠问题，提出神经符号框架NeSy-Spatial，通过自演化空间技能提升工具利用精度与空间推理准确率。

Comments 25 pages, 9 figures, 10 tables; includes supplementary material

Toward a Causal Data Management Ecosystem for Decision Making and Agentic AI

面向决策与智能体AI的因果数据管理生态系统

Dazhuo Qiu, Yingli Zhou, Amedeo Pachera, Angela Bonifati, Andrea Mauri

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文针对AI生态系统决策混杂问题，提出构建共享可查询的因果世界系统（CWS），为面向决策与智能体AI的因果数据管理生态系统提供支持。

Comments Accepted at ACM AI Leadership Summit 2026

StepReflect: Structured UI Transition Reflection for Mobile GUI Agents

StepReflect：面向移动GUI智能体的结构化UI过渡反射

Linqiang Guo, Wei Liu, Li Gu, Yang Wang, Tse-Hsun, Chen

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 针对移动GUI智能体长时序执行的动作反射需求，提出StepReflect模型，在离线和在线实验中均优于GPT-5.2相关方案，成本更低且可本地部署。

EgoAfford: Task-Oriented Affordance Grounding via Egocentric Referring Segmentation

EgoAfford：基于自我中心指称分割的面向任务的可供性定位

Xinyuan Guan, Feifan Chen, Xinyu Zhan, Fu-Cheng Zhang, Cewu Lu, Lixin Yang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 针对部件级可供性定位难以适配复杂多步桌面任务的问题，提出基准EgoAfford及参考模型EgoLens，验证了下一步推理与动作角色条件部件定位的互补挑战，为感知与规划联合研究提供基础。

FocusMem: Factorizing Content, Readout, and Trust in Latent GUI Memory

FocusMem：对潜在GUI记忆中的内容、读出和信任进行因子分解

Zhuoran Zhang, Bowen Li, Jingcheng Ju, Yang Shi, Qixun Wang, Haotian Wang, Wei Chen, Tengjiao Wang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 FocusMem将潜在GUI记忆的内容、读出和信任因子分解，解决现有固定记忆方法的细节丢失、阶段适配差和误导问题，在五个GUI智能体基准测试中性能优于基线与现有方法。

Comments 36 pages

CUADebug: Diagnosing and Repairing Computer-Use Agent Failures

CUADebug：计算机使用智能体故障的诊断与修复

Weijia Zhang, Kunlun Zhu, Zeyi Liu, Yinting Chen, Tianyi Ma, Jiateng Liu, Jiaxun Zhang, Bingxuan Li, Xiangru Tang, Heng Ji, Jiaxuan You

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本研究提出CUADebug框架，含错误分类、CUAErrorBench基准与CUADebugger工具，可诊断修复计算机使用智能体故障，提升任务完成与重新执行成功率，证明其能提供可操作修复信号。

Comments 23 pages, 10 figures, 6 tables

VC-Tooler: Learning Compositional and Adaptive Visual Tool Use

VC-Tooler：学习组合式与自适应视觉工具使用

Yizheng Wu, Jiashen Hua, Bing Deng, Jieping Ye

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 VC-Tooler是一种学习组合式与自适应视觉工具使用的模型，通过分层合成轨迹库与两阶段训练，在通用和具身基准上达到开源模型最优性能，且具良好迁移能力。

DrawAI: Agentic Benchmark and Workflow for Making Raster Images Editable

DrawAI：用于生成可编辑光栅图像的智能体基准与工作流

Pu Cao, Qingye Kong, Xuedan Yin, Xuekun Zhao, Rupeng Yan, Qing Song, Yao Zhang, Lu Yang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 DrawAI提出图像到可编辑重建任务，构建含DrawAI-Bench基准与DrawAI-Flow工作流的智能体方案，经实验验证DrawAI-Flow可提升可编辑结构，不同模型-harness配置的重建质量与成本差异显著。

Comments Project URL: https://drawai.renaissancemind.ai/

DiffuseAgent-MI: Distributionally-Grounded,Tool-Integrated Self-Evolving Agents for Faithful Visual Reasoning

DiffuseAgent-MI：用于忠实视觉推理的基于分布、集成工具的自进化智能体

An Lanji, Dawei Liu, Jin Li, Haoran Xu, Mei Chen, Yu Tian

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 DiffuseAgent-MI是基于分布、集成工具的自进化视觉推理智能体，通过KL最小能量模型与轨迹级验证器提升忠实性，在多数据集上准确率及相关指标表现优于现有模型。

Comments 11 pages, 9 figures, accepted by ICML 2026 manitrack

RF-HOI: Recognize Human-Object Interaction with Radio Frequency Signals

RF-HOI：利用射频信号识别人体-物体交互

Lihao Wang, Linlu Gao, Jiacan Yu, Yanyu Lin, Yifan Yin, Jianxin Wang, Tianmin Shu, Renjie Zhao

机构 * Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 该研究针对视觉HOI识别的隐私与光照问题，提出仅用射频信号的RF-HOI框架，融合毫米波雷达与RFID，结合合成RF数据提升性能，效果优于基线且接近视觉模型。

Comments Accepted by ACM IMWUT

Agentic Metaverse Services: A New As-a-Service Paradigm

智能体元宇宙服务：一种新的即服务范式

Xiaofei Xu, Quan Z. Sheng, Zhongjie Wang, Boualem Benatallah, Xiao Wang, Ruipeng Han

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 该研究提出智能体元宇宙服务（AMServ）与元宇宙环境下的智能体即服务（Meta-AaaS）新范式，概述其特征、原理、应用实例，指出发展趋势，将推动AI时代新兴服务产业发展。

Comments 11 pages, 5 figures; Accepted at the 2026 IEEE International Conference on Web Services (ICWS 2026); Corresponding author: Prof. Xiaofei Xu

FaithEyes: Towards Faithful Tool Use via Multi-Agent Process-Image Verification

FaithEyes：通过多智能体过程图像验证实现可信的工具使用

Haoqing Wang, Xingrun Xing, Wei Xia, Ziheng Li, Yehui Tang

机构 * Samsung Research（三星研究院） ； Peking University（北京大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出多智能体框架FaithEyes，通过子智能体判断主智能体的工具调用以提升工具使用可信性，在视觉感知与推理基准上实现了更优准确率。

Energy Constrained Hierarchical Underwater Monitoring via Local Multi-Agent RAG

通过局部多智能体RAG实现能量受限的分层水下监测

Mohamed Amine Janati, Laurent Gautier, Stéphane Barbot

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 针对海洋生物监测受能量等限制的问题，提出结合边缘传感与局部推理的低功耗水下监测架构，采用分层设计，利用特定嵌入、识别层及多智能体框架，经案例研究评估，实现低功耗连续传感与局部多模态智能结合，减少能耗与通信开销。

Comments Contains 25 pages, 11 figures. To be submitted to Elsevier Ocean Engineering

Generative Artificial Intelligence (GenAI) to convert images of queuing networks into verifiable simulation models: an open-weight LLM workflow approach

生成式人工智能（GenAI）将排队网络图像转换为可验证的仿真模型：一种开放权重的大语言模型工作流方法

Thomas Monks, Alison Harper, Amy Heather, Navonil Mustafee

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究提出Sketch2DES工作流，利用开放权重LLMs将排队网络图像转换为可验证仿真模型，经多阶段处理，在多图表评估中各阶段可靠性高，相比直接代码生成提升多项性能，证明结构化工作流模型生成对LLM辅助仿真建模的可行性。

Scaling GUI Agents with Visual State Transitions

通过视觉状态转换扩展 GUI 智能体

Xiangyan Liu, Kaixin Li, Haonan Wang, Biao Wu, Meng Fang, Longxu Dou, Chao Du, Michael Qizhe Shieh, Tianyu Pang

机构 * NUS（新加坡国立大学） ； Sea AI Lab（Sea人工智能实验室） ； UTS（悉尼科技大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究通过状态转换预训练扩展 GUI 智能体，联合优化逆动力学和正向动力学预训练统一多模态模型，在桌面和移动 GUI 场景基准测试中优于基线，联合动力学优化有稳定改进，下游性能随转换数据量提升。

SimBEV2X: A Large-Scale Dataset and Data Generation Tool for Multi-Task Vehicle-to-Everything Cooperative Perception

SimBEV2X：用于多任务车联网协同感知的大规模数据集与数据生成工具

Goodarz Mehr, Sepideh Gohari, Montasir Abbas, Azim Eskandarian

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 研究针对V2X协同感知算法发展受限问题，介绍基于CARLA模拟器的SimBEV2X数据生成工具及数据集，通过它建立基线并提出CoBEVFusion架构，实现上下文感知多智能体特征聚合，性能优越。

Comments Submitted to IEEE for review

Embodied GPT-5.1: Evidence of a World Model?

具身化GPT-5.1：世界模型的证据？

Roberto Spinelli, Thiago C. Martins

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究探索无实体化训练的GPT-5.1能否控制物理移动机器人，通过低分辨率图像和离散动作集执行任务。它展现出空间推理等新兴能力，但也有效率和感知局限。结果挑战传统观点，促使深入研究大语言模型中物理理解相关问题。

Comments 6 pages, 16 figures. Published in the 2026 Brazilian Conference on Robotics (CROS)

Journal ref R. Spinelli and T. C. Martins, "Embodied GPT-5.1: Evidence of a World Model?," 2026 Brazilian Conference on Robotics (CROS), pp. 394-399, 2026

MOJITO: Modal Joint Learning for Unified End-to-End Autonomous Driving

MOJITO：用于统一端到端自动驾驶的模态联合学习

Zhijing Cheng, Xuancheng Zhang, Donglin Di, Lei Fan, Baorui Ma, Hao Li, Xun Yang

机构 * University of Science and Technology of China（中国科学技术大学） ； Li Auto（理想汽车） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 研究针对端到端自动驾驶系统问题，提出基于模态联合学习的MOJITO框架，去除级联接口，执行逐块模态联合注意力更新多模态特征，在数据集上取得新的最优成绩，展现出强大能力。