多模态大模型

SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning

SpecEyes: 通过推测感知和规划加速代理多模态大语言模型

Haoyu Huang, Jinfa Huang, Zhongwei Wan, Xiawu Zheng, Rongrong Ji, Jiebo Luo

专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.CL

AI总结 SpecEyes通过推测规划框架减少代理多模态大语言模型的序列开销，提升并发性能，实验显示在保持准确性的同时实现1.1-3.35倍的加速。

Comments ECCV 2026, Code: https://github.com/MAC-AutoML/SpecEyes

AppAgent: Multimodal Agents as Smartphone Users

AppAgent：作为智能手机用户的多模态智能体

Chi Zhang, Zhao Yang, Jiaxuan Liu, Yanda Li, Yucheng Han, Xin Chen, Zebiao Huang, Bin Fu, Gang Yu

机构 * Tencent（腾讯） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 介绍基于大语言模型的多模态智能体框架，通过简化动作空间操作智能手机应用，无需系统后端访问，经自主探索或观察人类示范学习，能执行复杂任务，测试验证其处理多种高级任务的能力。

Comments Accepted to CHI 2025, project page is https://appagent-official.github.io/

iFLYTEK-Embodied-Omni Technical Report

科大讯飞-具身全能技术报告

Yuan Zhang, Jingfei Ni, Guanchen Lu, Shiqi Zhang, Qingshan Xu, Chi Liu, Xin Nie, Wenjie Xu, Lin Gao, Zhiyuan Cheng, Mingxin Zhou, Jiajia Wu, Diyuan Liu, Jia Pan, Chao Ji

机构 * iFLYTEK ； LindenBot ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；image-text(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 研究通用具身智能体，提出统一多模态基础模型iFLYTEK-Embodied-Omni，通过共享多模态自注意力联合建模视觉、语言和动作，结合多种数据构建数据集并采用四阶段策略训练，实现脑-小脑协作。

A Comprehensive Study of Implementation Bugs in Multi-modal Agents

多模态智能体中实现错误的综合研究

Suwan Li, Lei Bu, Shangqing Liu, Yile Wang, Guangdong Bai, Fuman Xie, Kai Chen, Chang Yue

专题命中 多模态Agent ：multi-modal(title,abstract)

AI总结 针对多模态智能体实现错误缺乏系统研究的问题，收集34个智能体，从1268个问题报告中识别出158个错误，开发分类法，实现MATester工具，为多模态智能体错误分类、预防和修复提供参考。

LectūraAgents: A Multi-Agent Framework for Adaptive Personalized AI-Assisted Learning and Embodied Teaching

LectūraAgents：面向自适应个性化AI辅助学习与具身教学的多智能体框架

Jaward Sesay, Yue Yu, Siwei Dong, Börje F. Karlsson

机构 * Beijing Institute of Technology（北京理工大学） ； Peking University（北京大学） ； Cornell University（康奈尔大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出LectūraAgents多智能体框架，通过层次化架构和自适应具身教学机制（如手势、高亮等）实现端到端个性化学习，并设计教学动作-语音对齐算法提升连贯性，在多个课程级别上优于现有方法。

Comments LecturaAgents TR

HiMe: Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control

HiMe：用于长距离视觉-语言-动作控制的分层具身记忆

Li Ji, Siyin Wang, Pengfang Qian, Xiaopeng Yu, Yihai Tian, Zhaoye Fei, Jingjing Gong, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.AI

AI总结 针对视觉-语言-动作模型处理非马尔可夫任务的不足，提出HiMe分层具身记忆框架，解耦智能为高频执行器等，引入动态知识系统，平衡实时执行与思考规划冲突，提升长距离任务成功率。

Embodied Operators and Benchmarking: Toward Reusable and Deployable Embodied Intelligence Systems

具身算子与基准测试：迈向可复用和可部署的具身智能系统

Junwu Xiong, Jiaxuan Gao, Wei Chai, Renxing Chen, Yuzhen Li, Yu Guo, Yucheng Guo, Mingxi Luo, Wenyang Ma, Yiyun Mou, Yifei Zhang, Chen Zhou, Yongjian Guo

机构 * JDT ； Tsinghua University（清华大学） ； Tianjin University（天津大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究具身智能系统中可复用功能模块即具身算子，明确其定义边界、构建分类法，提出多维度基准框架，探讨加速及挑战，为具身智能系统提供基础。

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

CLEAR：用于端到端自动驾驶的大规模闭环强化学习

Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

机构 * Qualcomm AI Research（高通人工智能研究中心） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 研究端到端自动驾驶，针对现有基于视觉语言动作模型的策略多采用模仿学习致闭环规划性能欠佳的问题，提出CLEAR系统，用强化学习进行闭环训练，设计异构管道增加并行模拟环境数量，性能优于先前方法。