视觉大模型 / VLM

CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare

CarePilot: 一种用于医疗领域长周期计算机任务自动化的多智能体框架

Akash Ghosh, Tajamul Ashraf, Rishu Kumar Singh, Numan Saeed, Sriparna Saha, Xiuying Chen, Salman Khan

机构 * Indian Institute of Technology Patna（印度理工学院帕纳布分校） ； Mohamed bin Zayed University of AI (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出CarePilot多智能体框架，通过双记忆机制和actor-critic范式，解决医疗领域长周期任务自动化中的复杂推理问题，实验表明其在基准和分布外数据集上均优于现有基线。

Comments CVPR 2026 Findings

UI-Voyager: A Self-Evolving GUI Agent Learning via Failed Experience

UI-Voyager：一种通过失败经验自我进化的GUI代理学习

Zichuan Lin, Feiyu Liu, Yijun Yang, Jiafei Lyu, Yiming Gao, Yicheng Liu, Zhicong Lu, Yangbin Yu, Mingyu Yang, Junyou Li, Deheng Ye, Jie Jiang

机构 * Tencent（腾讯） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出UI-Voyager，一种两阶段自我进化的移动GUI代理，通过拒绝微调和组相对自蒸馏提升GUI任务的效率和性能，实验显示其在AndroidWorld上达到81.0%的Pass@1成功率。

Comments Code and models are available at https://github.com/ui-voyager/UI-Voyager

CUA-Suite: Massive Human-annotated Video Demonstrations for Computer-Use Agents

CUA-Suite：大规模人工标注的视频演示用于计算机使用代理

Xiangru Jian, Shravan Nayak, Kevin Qinghong Lin, Aarash Feizi, Kaixin Li, Patrice Bechard, Spandana Gella, Sai Rajeswar

机构 * ServiceNow ； University of Waterloo（多伦多大学） ； Mila ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 CUA-Suite通过提供连续高质量视频演示和密集标注，解决计算机使用代理训练中视频数据不足的问题，包含约55小时的专家视频和600万帧数据，支持多模态研究。

Comments Project Page: https://cua-suite.github.io/

3D-Mix for VLA: A Plug-and-Play Module for Integrating VGGT-based 3D Information into Vision-Language-Action Models

3D-Mix用于VLA：一种用于将基于VGGT的3D信息整合到视觉-语言-动作模型中的即插即用模块

Bin Yu, Shijie Lian, Xiaopeng Lin, Zhaolong Shen, Yuliang Wei, Haishan Liu, Changti Wu, Hang Yuan, Bailing Wang, Cong Huang, Kai Chen

机构 * HIT（哈尔滨工业大学） ； ZGCA（中钢集团自动化研究院） ； ZGCI（中钢集团信息研究院） ； HUST（华中科技大学） ； HKUST(GZ)（香港科技大学（广州）） ； BUAA（北京航空航天大学） ； ECNU（华东师范大学） ； DeepCybo 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文提出3D-Mix模块，通过语义条件门控融合机制提升视觉-语言-动作模型的3D感知能力，在标准化基准测试中实现最佳性能。

Comments 13 pages

Continual GUI Agents

连续GUI代理

Ziwei Liu, Borui Kang, Hangjie Yuan, Zixiang Zhao, Wei Li, Yifan Zhu, Tao Feng

机构 * Department of Computer Science and Technology, Tsinghua University, China（计算机科学与技术系，清华大学，中国） ； College of Computer Science, Zhejiang University, China（浙江大学计算机科学学院，中国） ； College of Computer Science, Beijing University of Posts and Telecommunications, China（北京邮电大学计算机科学学院，中国） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出连续GUI代理任务，通过引入GUI-Anchoring in Flux框架，解决GUI分布变化时持续学习稳定性问题，实验显示其优于现有方法。

Comments Code is available at: https://github.com/xavierliu34/GUI-AiF

TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models

目标无关引导：用于视觉-语言-动作模型中稳定对象中心推断的指导

Jiaying Zhou, Zhihao Zhan, Ruifeng Zhai, Qinhan Lyu, Hao Liu, Keze Wang, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Lab of Big Data Analysis & Processing（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出TAG目标无关引导，通过对比原始观察和物体擦除观察下的策略预测差异，减少干扰和外观偏差，提升视觉-语言-动作模型在复杂场景中的鲁棒性。

ELITE: Experiential Learning and Intent-Aware Transfer for Self-improving Embodied Agents

ELITE：经验学习与意图感知迁移用于自我改进的具身智能体

Bingqing Wei, Zhongyu Xia, Dingai Liu, Xiaoyu Zhou, Zhiwei Lin, Yongtao Wang

机构 * Wangxuan Institute of Computer Technology, Peking University, Beijing, China（清华大学王轩计算机技术研究所，北京，中国） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 ELITE通过经验学习与意图感知迁移机制，使具身智能体能持续学习环境交互经验并迁移至相似任务，实现在EB-ALFRED和EB-Habitat基准上的性能提升。

Xiaomi-Robotics-0: An Open-Sourced Vision-Language-Action Model with Real-Time Execution

Xiaomi-Robotics-0：一个具有实时执行能力的开源视觉-语言-动作模型

Rui Cai, Jun Guo, Xinze He, Piaopiao Jin, Jie Li, Bingxuan Lin, Futeng Liu, Wei Liu, Fei Ma, Kun Ma, Feng Qiu, Heng Qu, Yifei Su, Qiao Sun, Dong Wang, Donghao Wang, Yunhong Wang, Rujie Wu, Diyun Xiang, Yu Yang, Hangjun Ye, Yuan Zhang, Quanyun Zhou

机构 * Xiaomi Robotics（小米机器人） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.LG

AI总结 本文提出Xiaomi-Robotics-0，通过精心设计的训练配方和部署策略，实现了高效且流畅的实时执行。模型在大规模跨体机器人轨迹和视觉语言数据上预训练，支持广泛的动作生成能力，并在真实机器人任务中表现出色。

Comments Project page: https://xiaomi-robotics-0.github.io

TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation

TacVLA: 基于接触感知的触觉融合用于鲁棒的视觉-语言-动作操控

Kaidi Zhang, Heng Zhang, Zhengtong Xu, Zhiyuan Zhang, Md Rakibul Islam Prince, Xiang Li, Xiaojing Han, Yuhao Zhou, Arash Ajoudani, Yu She

机构 * Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia（人机交互实验室，意大利理工学院） ； Ph.D. program of national interest in Robotics and Intelligent Machines (DRIM) and Università di Genova（机器人与智能机器国家级博士项目（DRIM）和热那亚大学） ； Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 TacVLA通过引入触觉模态提升视觉-语言-动作操控的鲁棒性，采用接触感知门控机制实现多模态融合，实验显示在拆解、箱内拾取和视觉遮挡场景中性能提升显著。

Comments 9 pages, 7 figures