多模态大模型

ATP-Bench: Towards Agentic Tool Planning for MLLM Interleaved Generation

ATP-Bench: 向多模态大语言模型交错生成的代理工具规划迈进

Yinuo Liu, Zi Qian, Heng Zhou, Jiahao Zhang, Yajie Zhang, Zhihang Li, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队） ； Huazhong University of Science and Technology（华中科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态Agent ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型交错生成中事实性与创造性难以统一的问题，提出ATP-Bench基准，包含7702个问题-答案对，评估代理工具规划能力，揭示模型在交错规划中的不足。

Webscraper: Leverage Multimodal Large Language Models for Index-Content Web Scraping

Webscraper：利用多模态大语言模型进行索引-内容网页抓取

Guan-Lun Huang, Yuh-Jzer Joung

机构 * Dept. of Information Management, National Taiwan University, Taipei, Taiwan（国立台湾大学资讯管理学系，台北，台湾） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出Webscraper框架，利用多模态大语言模型自动导航交互界面并提取结构化数据，通过五阶段提示和定制工具提升动态网站抓取准确性。

CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics

CLaD：通过跨模态潜在动力学实现具有基础前瞻性的规划

Andrew Jeong, Jaemin Kim, Sebin Lee, Sung-Eui Yoon

机构 * KAIST（韩国科学技术院） 纠错

专题命中 多模态Agent ：cross-modal(title,abstract)

AI总结 CLaD通过不对称跨注意力机制联合建模本体和语义状态演化，利用自监督目标和EMA编码器防止表征崩溃，实现高成功率的长序列动作生成。

Comments Project page: https://andrewwwj.github.io/clad

Owl-AuraID 1.0: An Intelligent System for Autonomous Scientific Instrumentation and Scientific Data Analysis

Owl-AuraID 1.0：自主科学仪器与科学数据分析的智能系统

Han Deng, Anqi Zou, Hanling Zhang, Ben Fei, Chengyu Zhang, Haobo Wang, Xinru Guo, Zhenyu Li, Xuzhu Wang, Peng Yang, Fujian Zhang, Weiyu Guo, Xiaohong Shao, Zhaoyang Liu, Shixiang Tang, Zhihui Wang, Wanli Ouyang

机构 * Shenzhen Loop Area Institute（深圳河套学院） ； The Chinese University of Hong Kong（香港中文大学） ； Dalian University of Technology（大连理工大学） ； Suzhou Laboratory（苏州实验室） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 Owl-AuraID 1.0通过GUI原生范式实现科学仪器自动化，整合类型1（仪器操作）和类型2（数据分析）技能，支持FTIR、NMR等多种分析模态，为自主实验室提供可扩展的基础框架。

Comments 17 pages

SparseDriveV2: Scoring is All You Need for End-to-End Autonomous Driving

SparseDriveV2：仅需评分即可实现端到端自动驾驶

Wenchao Sun, Xuewu Lin, Keyu Chen, Zixiang Pei, Xiang Li, Yining Shi, Sifa Zheng

机构 * Tsinghua University（清华大学） ； Horizon Continental Technology（地平线大陆科技） ； Horizon（地平线） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出SparseDriveV2，通过可扩展的词汇表示和评分策略提升端到端自动驾驶性能，实现在NAVSIM和Bench2Drive上的高评分和成功率。

SecAgent: Efficient Mobile GUI Agent with Semantic Context

SecAgent：基于语义上下文的高效移动GUI代理

Yiping Xie, Song Chen, Jingxuan Xing, Wei Jiang, Zekun Zhu, Yingyao Wang, Pi Bu, Jun Song, Yuning Jiang, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘天集团） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 SecAgent通过构建中文移动GUI数据集和语义上下文机制，提升移动GUI代理的效率与性能，实现高效任务处理与多语言支持。

Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos

面向多视角轨迹视频的高一致性具身世界模型

Taiyi Su, Jian Zhu, Yaxuan Li, Chong Ma, Jianjun Zhang, Zitai Huang, Hanli Wang, Yi Xu

机构 * Midea Group（美的集团） ； Tongji University（同济大学） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出MTV-World模型，通过多视角轨迹视频控制实现精准的视觉-运动预测，解决低层次动作与真实物理交互不一致的问题，实验表明其在复杂双臂场景中表现优异。

Comments 12 pages, 5 figures

World2Rules: A Neuro-Symbolic Framework for Learning World-Governing Safety Rules for Aviation

World2Rules: 一种用于航空领域学习世界治理安全规则的神经符号框架

Haichuan Wang, Jay Patrikar, Sebastian Scherer

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 World2Rules通过结合神经网络和符号方法，从航空多模态数据中学习安全规则，提升规则的准确性和可解释性，实验显示其在F1得分上优于纯神经和单步神经符号基线。

Comments 19 pages, 6 figures

DeepEye: A Steerable Self-driving Data Agent System

DeepEye：一种可调节的自动驾驶数据代理系统

Boyan Li, Yiran Peng, Yupeng Xie, Sirong Lu, Yizhang Zhu, Xing Mu, Xinyu Liu, Yuyu Luo

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出DeepEye，一种基于工作流的生产级数据代理系统，通过统一多模态协调协议和分层推理机制，解决异构数据源联合分析和上下文爆炸问题，实现透明执行和自动化优化。

Comments SIGMOD Demo (2026)