多模态大模型

WebChain: A Large-Scale Human-Annotated Dataset of Real-World Web Interaction Traces

WebChain：一个大规模的人工标注的真实世界网页交互轨迹数据集

Sicheng Fan, Rui Wan, Yifei Leng, Gaoning Liang, Li Ling, Yanyi Shang, Dehan Kong

机构 * Fudan University（复旦大学） ； IMean AI ； WebAgentLab 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出WebChain数据集，包含31,725条轨迹和318k步，通过视觉、结构和动作数据的三元对齐提供多模态监督，提出双中层训练方法，实现了WebChainBench等公开GUI基准的最先进性能。

Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs

不要显示像素，显示提示：通过感知程序解锁语言模型中的视觉工具推理

Muhammad Kamran Janjua, Hugo Silva, Di Niu, Bahador Rashidi

机构 * Huawei Technologies, Canada（华为技术（加拿大）） ； University of Alberta, Canada（阿尔伯塔大学（加拿大）） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出感知程序（P²），通过将视觉工具输出转换为结构化摘要，提升语言模型的视觉推理能力，在六个任务中均取得显著提升。

Comments Accepted to CVPR 2026

MGA: Memory-Driven GUI Agent for Observation-Centric Interaction

MGA：基于记忆的GUI代理用于以观察为中心的交互

Weihua Cheng, Junming Liu, Yifei Sun, Botian Shi, Yirong Chen, Ding Wang

机构 * Shanghai Tech University（上海科技大学） ； Tongji University（同济大学） ； East China University of Science and Technology（东华大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 MGA通过解耦长周期轨迹和结构化状态记忆机制，减少认知负担和系统复杂度，实现高效的GUI自动化。

Comments Submitted to ACM MM 2026

Tree Learning: A Multi-Skill Continual Learning Framework for Humanoid Robots

树学习：一种面向双足机器人的人机交互连续学习框架

Yifei Yan, Linqi Ye

机构 * School of Future Technology, Shanghai University（上海大学未来技术学院） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 本文提出Tree Learning框架，通过参数继承机制和多模态适应机制，实现双足机器人多技能连续学习，避免灾难性遗忘，提升技能切换和交互控制性能。

VULCAN: Vision-Language-Model Enhanced Multi-Agent Cooperative Navigation for Indoor Fire-Disaster Response

VULCAN：基于视觉-语言模型的多智能体协作导航用于室内火灾应急响应

Shengding Liu, Qiben Yan

机构 * Computer Science \& Engineering Michigan State University East Lansing, MI, USA 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 本文提出VULCAN框架，结合多模态感知与视觉语言模型，解决火灾环境下多智能体协作导航的挑战，通过模拟真实火灾场景评估现有方法的失效模式，强调鲁棒感知与危险意识规划的重要性。

Comments INFOCOM EIN Workshop 2026

LLM-Guided Task- and Affordance-Level Exploration in Reinforcement Learning

基于大型语言模型的任务与能力层面探索的强化学习

Jelle Luijkx, Runyu Ma, Zlatan Ajanović, Jens Kober

机构 * RWTH Aachen University（亚琛工业大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出LLM-TALE框架，利用大型语言模型的规划能力引导强化学习探索，提升学习效率和任务成功率，实验证明在抓取放置任务中表现出更高的样本效率和成功率。

Comments 8 pages, 7 figures, ICRA 2026