视觉大模型 / VLM

Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments

Qwen-VLA：统一跨任务、环境和机器人形态的视觉-语言-动作建模

Qiuyue Wang, Mingsheng Li, Jian Guan, Jinhui Ye, Sicheng Xie, Yitao Liu, Junhao Chen, Zhixuan Liang, Jie Zhang, Xintong Hu, Xuhong Huang, Pei Lin, Junyang Lin, Dayiheng Liu, Shuai Bai, Jingren Zhou, Jiazhao Zhang, Haoqi Yuan, Gengze Zhou, Hang Yin, Ye Wang, Yiyang Huang, Zixing Lei, Wujian Peng, Delin Chen, Yingming Zheng, Jingyang Fan, Xianwei Zhuang, Xin Zhou, Haoyang Li, Anzhe Chen, Tong Zhang, Xuejing Liu, Yuchong Sun, Ruizhe Chen, Zhaohai Li, Chenxu Lü, Zhibo Yang, Tao Yu, Xionghui Chen

机构 * Qwen Team（通义实验室） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 提出Qwen-VLA，一种基于DiT动作解码器的统一具身基础模型，通过大规模联合预训练和具身感知提示，将操作、导航和轨迹预测统一为动作-轨迹预测框架，实现跨任务、环境和机器人形态的泛化。

Comments 34 pages

GUITestScape: Towards Open-set Evaluation on Exploratory GUI Testing

GUITestScape：面向探索性GUI测试的开放集评估

Xiaoyi Chen, Yifei Gao, Yang Xu, Xingxing Song, Yi Zhang, Jitao Sang

机构 * Beijing Jiaotong University（北京交通大学） ； Independent Researcher（独立研究者） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出GUITestScape基准和GUIJudge评估器，通过覆盖交互与显示缺陷的508个预设缺陷及过程感知评估方法，解决现有GUI测试评估局限于预定义标注和交互缺陷的问题。

3DVLA: Enhancing Vision-Language-Action Models via 3D Spatial and Instance Understanding

3DVLA：通过3D空间和实例理解增强视觉-语言-动作模型

Zhongyu Xia, Yousen Tang, Bingqing Wei, Yongtao Wang

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出3DVLA框架，通过多视角一致性3D特征编码、实例估计模块和掩码自监督3D编码，解决VLA模型缺乏3D场景理解的问题，在LIBERO-Plus和RoboTwin 2.0上显著提升操作性能。

Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation

Uni-LaViRA：面向统一具身导航的语言-视觉-机器人动作翻译

Hongyu Ding, Sizhuo Zhang, Ziming Xu, Jinwen Guo, Hongxiu Liu, Xingzhi Cheng, Zixuan Chen, Haifei Qi, Duo Wang, Hao Xu, Jieqi Shi, Yifan Zhang, Jing Huo, Jian Cheng, Yang Gao, Jiebo Luo

机构 * Nanjing University（南京大学） ； Beihang University（北京航空航天大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； BMW (Nanjing) Information Technology Co., Ltd.（宝马（南京）信息技术有限公司） ； University of Rochester（罗切斯特大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出Uni-LaViRA统一智能体架构，通过语言-视觉-机器人动作翻译结构，结合待办列表记忆和二次机会回溯机制，在零训练下实现四类导航任务和四种真实机器人的零样本泛化，性能匹配或超越近期训练式导航基础模型。

Comments Project page: https://xetroubadour.github.io/Uni-LaViRA/

CogVLA: Cognition-Aligned Vision-Language-Action Model via Instruction-Driven Routing & Sparsification

CogVLA: 通过指令驱动路由与稀疏化实现认知对齐的视觉-语言-动作模型

Wei Li, Renshan Zhang, Rui Shao, Jie He, Liqiang Nie

机构 * School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区计算机科学与技术学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出CogVLA框架，通过指令驱动路由和稀疏化机制，在LIBERO基准和真实机器人任务上以2.5倍训练成本降低和2.8倍推理延迟降低实现97.4%和70.0%的成功率。

Comments Accepted to NeurIPS 2025, Project Page: https://jiutian-vl.github.io/CogVLA-page

MobileExplorer: Accelerating On-Device Inference for Mobile GUI Agents via Online Exploration

MobileExplorer: 通过在线探索加速移动GUI代理的端侧推理

Runxi Huang, Liyu Zhang, Shengzhong Liu, Xiaomin Ouyang

机构 * Hong Kong University of Science and Technology（香港理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI

AI总结 提出MobileExplorer框架，通过在线探索并行探测UI元素并记录为结构化记忆，结合两级回滚机制，减少推理步骤和延迟，提升移动GUI代理的端侧部署效率。

How You Move Tells What You'll Do: Trajectory-Conditioned Egocentric Prediction

如何移动决定了将来的行动：轨迹条件的自身视角预测

Sejoon Jun, Hai Nguyen-Truong, Luigi Seminara, Lorenzo Torresani

机构 * Khoury College of Computer Sciences, Northeastern University, Boston（北德文斯克学院，东北大学，波士顿） ； Korea Advanced Institute of Science and Technology, Daejeon（韩国科学技术院，大田） ； Department of Mathematics and Computer Science, University of Catania, Italy（卡塔尼亚大学数学与计算机科学系，意大利） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究通过轨迹条件自身视角预测，发现轨迹能更精确地表达意图，从而在任务规划中优于语言条件，且在预测时无需观察轨迹即可获得显著优势。

Comments Project page: https://farsightlab.github.io/TrajPilot

Robo-Cortex: A Self-Evolving Embodied Agent via Dual-Grain Cognitive Memory and Autonomous Knowledge Induction

Robo-Cortex: 通过双粒认知记忆和自主知识诱导实现自我进化具身智能体

Nga Teng Chan, Yi Zhang, Yechi Liu, Renwen Cui, Fanhu Zeng, Zeyuan Ding, Xiancong Ren, Zhang Zhang, Qifeng Chen, Jian Liu, Yong Dai, Xiaozhu Ju

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； X-Humanoid ； Institute of Automation, CAS（中国科学院自动化研究所） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出Robo-Cortex框架，通过双粒认知记忆和自主知识诱导机制，使机器人能够自主诱导导航启发式方法并优化认知策略，从而在复杂环境中实现自主导航和探索。

SimWorld Studio: Automatic Environment Generation with Evolving Coding Agent for Embodied Agent Learning

SimWorld Studio：基于进化编码代理的自动环境生成用于具身学习

Haoqiang Kang, Xiaokang Ye, Yuhan Liu, Siddhant Hitesh Mantri, Lingjun Mao, James Fleming, Drishti Regmi, Lianhui Qin

机构 * UC San Diego（加州大学圣迭戈分校） ； New York University（纽约大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出SimWorld Studio平台，通过进化编码代理生成动态3D环境，提升具身学习性能。环境生成与学习相互促进，使代理在未见基准上表现更优。

HumanNet: Scaling Human-centric Video Learning to One Million Hours

HumanNet: 将以人为中心的视频学习扩展到一百万小时

Yufan Deng, Daquan Zhou

机构 * Peking University（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 HumanNet通过构建大规模人类活动视频数据集，探索以人为中心的视频在扩展具身基础模型中的潜力，展示其在动作生成和人机转移中的优势。

Comments Github: https://github.com/DAGroup-PKU/HumanNet Project website: https://dagroup-pku.github.io/HumanNet/

Faithful Mobile GUI Agents with Guided Advantage Estimator

忠实的移动GUI代理与引导优势估计器

Haowen Hu, Pengzhou Cheng, Zheng Wu, Lingzhong Dong, Gongshen Liu, Zhuosheng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 本文提出Faithful-Agent框架，通过两阶段流程提升GUI交互的证据基础性和一致性，引入引导优势估计器GuAE，有效提升任务成功率并保持指令遵循能力。

SpaAct: Spatially-Activated Transition Learning with Curriculum Adaptation for Vision-Language Navigation

SpaAct：基于课程适应的空间激活转换学习用于视觉语言导航

Pengna Li, Kangyi Wu, Shaoqing Xu, Fang Li, Hanbing Li, Lin Zhao, Kailin Lyu, Long Chen, Zhi-Xin Yang, Nanning Zheng

机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室） ； National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所） ； The State Key Laboratory of Internet of Things for Smart City（智能城市物联网国家重点实验室） ； Centre for Artificial Intelligence and Robotics（人工智能与机器人中心） ； University of Macau（澳门大学） ； Xiaomi EV（小i EV） ； School of Automation（自动化学院） ； Beijing Institute of Technology（北京理工大学） ； Institute of Automation（自动化研究所） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 SpaAct通过引入空间激活任务和课程适应方法，提升视觉语言导航中动态空间感知能力，实现更高效的导航性能。

Comments Submmited to ACM MM 2026

AutoSurfer -- Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling

AutoSurfer -- 通过全面浏览、学习和建模教学网络代理

Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

机构 * Microsoft Research（微软研究院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 AutoSurfer通过系统性广度优先探索策略、任务合成引导和轨迹优化，实现全面覆盖网站操作空间，提升网络代理轨迹生成的准确性和多样性。

Comments 21 pages, 3 figures

GuideDog: A Real-World Egocentric Multimodal Dataset for Blind and Low-Vision Accessibility-Aware Guidance

GuideDog: 一种用于视障和低视力者无障碍引导的现实世界单人视角多模态数据集

Junhyeok Kim, Jaewoo Park, Junhee Park, Sangeyl Lee, Jiwan Chung, Jisung Kim, Ji Hoon Joung, Youngjae Yu

机构 * Yonsei University（延世大学） ； LG AI Research（LG AI研究所） ； Euler Robotics（Euler机器人） ； Seoul National University（首尔国立大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 本文提出GuideDog数据集，包含22K图像描述对，用于提升视障者导航能力，通过人机协同标注提升数据质量，并展示深度感知评估基准，揭示当前多模态大语言模型在深度感知方面的挑战。

Comments ACL 2026 Main. Project page: https://jun297.github.io/GuideDog/

Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment

跨XPUs的视觉-语言-动作模型特性分析：约束与加速以实现机器人部署

Kaijun Zhou, Qiwei Chen, Da Peng, Zhiyang Li, Xijun Li, Jinyu Gu

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文研究了视觉-语言-动作模型在机器人上的部署问题，通过模型与硬件的协同分析，揭示了边缘加速器在成本、能耗和时间上的优化潜力，并提出DP-Cache和V-AEFusion方法提升性能。

Comments 13 pages

Vision-Language-Action in Robotics: A Survey of Datasets, Benchmarks, and Data Engines

机器人中的视觉-语言-动作：数据集、基准和数据引擎的综述

Ziyao Wang, Bingying Wang, Hanrong Zhang, Tingting Du, Tianyang Chen, Guoheng Sun, Yexiao He, Zheyu Shen, Wanghao Ye, Ang Li

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； University of Utah（犹他大学） ； Northeastern University（东北大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract,abstract_cn)；分类 cs.AI

AI总结 本文综述了视觉-语言-动作研究中数据基础设施的关键挑战，指出未来进展依赖于数据引擎与评估协议的协同设计，揭示了数据集、基准和数据引擎的四大开放挑战。

Comments This is a survey paper. The survey is already accepted by TMLR after peer-review. The OpenReview link is here: https://openreview.net/forum?id=tAaWFpvnmm

Anonymization-Enhanced Privacy Protection for Mobile GUI Agents: Available but Invisible

增强隐私保护的移动GUI代理：可用但不可见

Lepeng Zhao, Zhenhua Zou, Shuo Li, Zhuotao Liu

机构 * Tsinghua University（清华大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 本文提出一种基于匿名化的隐私保护框架，通过检测敏感UI内容并替换为非识别性占位符，实现敏感信息在任务执行中可用但不可见，减少隐私泄露同时保持代理的无缝使用。

Comments 15 pages, 4 figures

SpanVLA: Efficient Action Bridging and Learning from Negative-Recovery Samples for Vision-Language-Action Model

SpanVLA: 一种高效的视觉-语言-动作模型，通过负样本恢复学习实现动作桥接与学习

Zewei Zhou, Ruining Yang, Xuewei, Qi, Yiluan Guo, Sherry X. Chen, Tao Feng, Kateryna Pistunova, Yishan Shen, Lili Su, Jiaqi Ma

机构 * University of California, Los Angeles, USA（加州大学洛杉矶分校） ； Motional, USA（Motional公司） ； Northeastern University, USA（东北大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出SpanVLA，一种端到端自动驾驶框架，结合自回归推理与流匹配动作专家，通过高效桥接和负样本恢复学习提升推理效率和鲁棒性。

Comments Project page: https://spanvla.github.io/

VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions

VLN-NF：具有假前提指令的视图与语言导航

Hung-Ting Su, Ting-Jun Wang, Jia-Fong Yeh, Min Sun, Winston H. Hsu

机构 * National Taiwan University（国立台湾大学） ； National Tsing Hua University（国立清华大学） ； DRIC 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出VLN-NF基准，通过引入假前提指令，要求智能体在目标不存在时进行探索并明确输出NOT-FOUND，采用ROAM方法在房间级导航与室内探索中取得最佳性能。

Comments ACL 2026 camera ready

UI-Copilot: Advancing Long-Horizon GUI Automation via Tool-Integrated Policy Optimization

UI-Copilot: 通过工具集成策略优化推进长周期GUI自动化

Zhengxi Lu, Fei Tang, Guangyi Liu, Kaitao Song, Xu Tan, Jin Ma, Wenqi Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

机构 * Zhejiang University（浙江大学） ； Apple（苹果公司） ； Tencent（腾讯） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出UI-Copilot框架，通过分离持久观察与临时执行上下文实现内存解耦，结合工具集成策略优化提升长周期GUI任务性能，实验显示其在MemGUI-Bench和AndroidWorld上均优于现有模型。

ABot-M0: VLA Foundation Model for Robotic Manipulation with Action Manifold Learning

ABot-M0：基于动作流形学习的机器人操控VLA基础模型

Yandan Yang, Shuang Zeng, Tong Lin, Xinyuan Chang, Dekang Qi, Junjin Xiao, Haoyun Liu, Ronghan Chen, Yuzhi Chen, Dongjie Huo, Feng Xiong, Xing Wei, Zhiheng Ma, Mu Xu

机构 * AMAP CV Lab（AMAP视觉实验室） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 ABot-M0通过统一预训练和动作流形学习，提升机器人操控的泛化能力与效率，构建了大规模数据集并支持模块化感知。

Comments Project website: https://amap-cvlab.github.io/ABot-Manipulation/ . Code: https://github.com/amap-cvlab/ABot-Manipulation . 22 pages, 10 figures, 10 tables

EgoTL: Egocentric Think-Aloud Chains for Long-Horizon Tasks

EgoTL：用于长时任务的目视思考链

Lulin Liu, Dayou Li, Yiqing Liang, Sicong Jiang, Hitesh Vijay, Hezhen Hu, Xuhai Xu, Zirui Liu, Srinivas Shakkottai, Manling Li, Zhiwen Fan

机构 * UMN（明尼苏达大学） ； TAMU（德克萨斯农工大学） ； Brown University（布朗大学） ； McGill University（麦吉尔大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； Columbia University（哥伦比亚大学） ； Northwestern University（西北大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出EgoTL，通过构建目视思考链管道，提升长时任务中视觉语言模型和世界模型的推理与规划能力，发现基础模型在作为目视助手或开放世界模拟器方面仍有不足。

Comments https://ego-tl.github.io/

ReMemNav: A Rethinking and Memory-Augmented Framework for Zero-Shot Object Navigation

ReMemNav：一种重新思考和记忆增强的零样本物体导航框架

Feng Wu, Wei Zuo, Wenliang Yang, Jun Xiao, Yang Liu, Xinhua Zeng

机构 * Fudan University（复旦大学） ； Tongji University（同济大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 ReMemNav通过整合全景语义先验和事件记忆，改进了零样本物体导航中的空间推理和决策，提升了成功率和探索效率。

Comments 8 pages, 5 figures

LaSM: Layer-wise Scaling Mechanism for Defending Pop-up Attack on GUI Agents

LaSM：用于防御GUI代理中弹出攻击的分层缩放机制

Zihe Yan, Jiaping Gui, Zhuosheng Zhang, Gongshen Liu

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出LaSM机制，通过分层放大关键层的注意力和MLP模块，提升模型对任务相关区域的对齐性，有效防御弹出攻击，同时不影响模型整体能力。

Comments Accepted by CVPR-26

ROSClaw: A Hierarchical Semantic-Physical Framework for Heterogeneous Multi-Agent Collaboration

ROSClaw：一种用于异构多智能体协作的分层语义-物理框架

Rongfeng Zhao, Xuanhao Zhang, Zhaochen Guo, Xiang Shao, Zhongpan Zhu, Bin He, Jie Chen

机构 * Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院） ； National Key Laboratory of Autonomous Intelligent Unmanned Systems (Tongji University)（自主智能无人系统全国重点实验室（同济大学）） ； Frontiers Science Center for Intelligent Autonomous Systems（智能自主系统前沿科学中心） ； Tongji University（同济大学） ； College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 ROSClaw通过统一视觉语言模型控制器整合策略学习与任务执行，构建仿真到现实的拓扑映射，实现多智能体协作中的语义连续性和动态任务分配，提升多策略执行的鲁棒性。

Single-agent vs. Multi-agents for Automated Video Analysis of On-Screen Collaborative Learning Behaviors

单 agent 与多 agent 在自动视频分析上的协作学习行为研究

Likai Peng, Shihui Feng

机构 * Faculty of Education, The University of Hong Kong（香港大学教育学院） ； Institute of Data Science, The University of Hong Kong（香港大学数据科学研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 本文比较了单 agent 和多 agent 框架在自动编码协作学习场景视频中的性能，提出两种多 agent 方法，分别在场景检测和动作检测任务中表现优异。

Comments 15 pages, 4 figures. To be published in the 27th International Conference on Artificial Intelligence in Education (AIED2026)

RANGER: A Monocular Zero-Shot Semantic Navigation Framework through Visual Contextual Adaptation

RANGER：通过视觉上下文适应的单目零样本语义导航框架

Ming-Ming Yu, Yi Chen, Börje F. Karlsson, Wenjun Wu

机构 * Beihang University（北京航空航天大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 RANGER通过视觉上下文学习实现零样本语义导航，无需依赖深度和姿态信息，利用3D基础模型和视觉语言模型提升任务效率与环境适应性。

Comments Accepted at ICRA 2026

SecAgent: Efficient Mobile GUI Agent with Semantic Context

SecAgent：基于语义上下文的高效移动GUI代理

Yiping Xie, Song Chen, Jingxuan Xing, Wei Jiang, Zekun Zhu, Yingyao Wang, Pi Bu, Jun Song, Yuning Jiang, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘天集团） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 SecAgent通过构建中文移动GUI数据集和语义上下文机制，提升移动GUI代理的效率与性能，实现高效任务处理与多语言支持。

LLM Enhanced Action Recognition via Hierarchical Global-Local Skeleton-Language Model

通过分层全局-局部骨架-语言模型增强动作识别

Ruosi Wang, Fangwei Zuo, Lei Li, Zhaoqiang Xia

机构 * Northwestern Polytechnical University（西北工业大学） ； Shandong University of Finance and Economics（山东财经大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出HocSLM模型，通过分层全局-局部网络和大视觉-语言模型融合骨架与文本信息，提升动作识别的语义表达和跨模态理解能力，实验表明在三个主流数据集上达到最佳性能。

CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare

CarePilot: 一种用于医疗领域长周期计算机任务自动化的多智能体框架

Akash Ghosh, Tajamul Ashraf, Rishu Kumar Singh, Numan Saeed, Sriparna Saha, Xiuying Chen, Salman Khan

机构 * Indian Institute of Technology Patna（印度理工学院帕纳布分校） ； Mohamed bin Zayed University of AI (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出CarePilot多智能体框架，通过双记忆机制和actor-critic范式，解决医疗领域长周期任务自动化中的复杂推理问题，实验表明其在基准和分布外数据集上均优于现有基线。

Comments CVPR 2026 Findings