视觉大模型 / VLM

InstrAct: Towards Action-Centric Understanding in Instructional Videos

InstrAct：迈向指令视频中的动作中心理解

Zhuoyi Yang, Jiapeng Yu, Reuben Tan, Boyang Li, Huijuan Xu

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Microsoft Research（微软研究院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出InstrAction框架，通过数据驱动策略和辅助目标提升指令视频中动作识别与建模，建立InstrAct基准测试集，优于现有视频基础模型。

GPA: Learning GUI Process Automation from Demonstrations

GPA：从演示中学习图形用户界面过程自动化

Zirui Zhao, Jun Hao Liew, Yan Yang, Wenzhuo Yang, Ziyang Luo, Doyen Sahoo, Silvio Savarese, Junnan Li

机构 * Salesforce AI Research（Salesforce AI 研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 GPA是一种轻量但通用的基于视觉的机器人流程自动化方法，通过单次演示实现快速稳定的过程回放，解决了传统RPA的脆弱性和当前基于视觉语言模型的GUI代理的非确定性风险，具备鲁棒性、确定性和隐私保护等核心优势。

The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling

压缩间隙：为什么离散标记化限制了视觉-语言-动作模型的扩展

Takuya Shiba

机构 * Shibattic Inc. 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文探讨了在视觉-语言-动作模型中，离散标记化导致的压缩间隙问题，指出信息瓶颈的位置决定了模型扩展效果，而非统一增加模型或数据规模。

Comments 11 pages, 1 figure

UI-Oceanus: Scaling GUI Agents with Synthetic Environmental Dynamics

UI-Oceanus：通过合成环境动态扩展GUI代理

Mengzhou Wu, Yuzhe Guo, Yuan Cao, Haochuan Lu, Songhe Zhu, Pingzhe Qu, Xin Chen, Kang Qin, Zhongpu Wang, Xiaode Zhang, Xinyi Wang, Wei Dai, Gang Cao, Yuetang Deng, Zhi Gong, Dezhi Ran, Linyi Li, Wei Yang, Tao Xie

机构 * Key Lab of HCST (PKU), MOE（高可信软件技术教育部重点实验室（北京大学）；北京大学计算机学院） ； School of Computer Science, Peking University（北京通明湖信息技术应用创新中心） ； Beijing Tongming Lake Information Technology Application Innovation Center（腾讯微信） ； WeChat, Tencent Inc.（西蒙菲莎大学） ； Simon Fraser University（德克萨斯大学达拉斯分校） ； University of Texas at Dallas（复旦大学系统与先进计算研究所） ； Fudan University Institute of Systems for Advanced Computing（上海开放计算系统研究所） ； Shanghai Institute of Systems for Open Computing 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出UI-Oceanus框架，通过地面真实环境反馈掌握交互物理，解决GUI代理扩展中的数据瓶颈问题，实验表明其在离线和在线导航中均优于基线方法。

Local Reinforcement Learning with Action-Conditioned Root Mean Squared Q-Functions

局部强化学习与基于动作的均方Q函数

Frank Wu, Mengye Ren

机构 * Carnegie Mellon University（卡内基梅隆大学） ； New York University（纽约大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于动作的均方Q函数，通过时间差分学习实现局部强化学习，优于现有无反向传播方法，在MinAtar和DeepMind控制套件中表现优异。

Comments 18 pages, 11 figures

FLEX: A Largescale Multimodal, Multiview Dataset for Learning Structured Representations for Fitness Action Quality Assessment

FLEX：一个大规模多模态、多视角数据集，用于学习结构化表示以评估健身动作质量

Hao Yin, Lijun Gu, Paritosh Parmar, Lin Xu, Tianxiao Guo, Xiujin Liu, Weiwei Fu, Yang Zhang, Tianyou Zheng

机构 * School of Biomedical Engineering (Suzhou), USTC（中国科学技术大学苏州生物医学工程学院） ； Suzhou Institute of Biomedical Engineering and Technology, CAS（中国科学院苏州生物医学工程技术研究所） ； Institute of High-Performance Computing, A*STAR, Singapore（新加坡科技研究局高性能计算研究所） ； School of Psychology, Beijing Sports University（北京体育大学心理学院） ； School of Competitive Sports, Beijing Sports University（北京体育大学竞技体育学院） ； Department of Robotics, University of Michigan（密歇根大学机器人系） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 FLEX数据集通过多模态融合和结构化知识图谱提升健身动作质量评估的准确性与解释性，支持跨模态预测和生物力学导向的表示学习。

Comments Dataset and code are available at https://github.com/HaoYin116/FLEX . Link to Project page https://haoyin116.github.io/FLEX_Dataset

Scaling Sim-to-Real Reinforcement Learning for Robot VLAs with Generative 3D Worlds

在生成3D世界中扩展机器人视觉语言动作的强化学习

Andrew Choi, Xinjie Wang, Zhizhong Su, Wei Xu

机构 * Horizon Robotics（地平线机器人） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用生成3D世界模型来提升机器人视觉语言动作模型的泛化能力，通过生成多样化的交互场景，提高模拟到现实的迁移效果，并展示在真实世界中的性能提升。

Beyond Textual Knowledge-Leveraging Multimodal Knowledge Bases for Enhancing Vision-and-Language Navigation

超越文本知识的多模态知识库用于增强视觉-语言导航

Dongsheng Yang, Yinfeng Yu, Liejun Wang

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing（丝绸之路多语言认知计算联合国际研究实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出BTK框架，通过整合环境特定文本知识与生成图像知识库，提升视觉-语言导航中的语义 grounding 和跨模态对齐，实验表明在R2R和REVERIE数据集上性能显著提升。

Comments Main paper (37 pages). Accepted for publication by the Information Processing and Management,Volume 63,Issue 6,September 2026,104766

Language-Conditioned World Modeling for Visual Navigation

基于语言的视觉导航世界建模

Yifei Dong, Fengyi Wu, Yilong Dai, Lingdong Kong, Guangyu Chen, Xu Zhu, Qiyu Hu, Tianyu Wang, Johnalbert Garnica, Feng Liu, Siyu Huang, Qi Dai, Zhi-Qi Cheng

机构 * University of Washington（华盛顿大学） ； National University of Singapore（新加坡国立大学） ； Clemson University（克莱姆森大学） ； Drexel University（德雷塞尔大学） ； Microsoft Research（微软研究院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了基于语言的视觉导航问题，提出LCVN数据集并开发了两种模型家族，通过语言 grounding、未来状态预测和动作生成实现统一任务学习。

Comments 19 pages, 6 figures, Code: https://github.com/F1y1113/LCVN

Continual GUI Agents

连续GUI代理

Ziwei Liu, Borui Kang, Hangjie Yuan, Zixiang Zhao, Wei Li, Yifan Zhu, Tao Feng

机构 * Department of Computer Science and Technology, Tsinghua University, China（计算机科学与技术系，清华大学，中国） ； College of Computer Science, Zhejiang University, China（浙江大学计算机科学学院，中国） ； College of Computer Science, Beijing University of Posts and Telecommunications, China（北京邮电大学计算机科学学院，中国） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出连续GUI代理任务，通过引入GUI-Anchoring in Flux框架，解决GUI分布变化时持续学习稳定性问题，实验显示其优于现有方法。

Comments Code is available at: https://github.com/xavierliu34/GUI-AiF

Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos

Ego2Web：一种基于第一人称视频的网络代理基准测试

Shoubin Yu, Lei Shu, Antoine Yang, Yao Fu, Srinivas Sunkara, Maria Wang, Jindong Chen, Mohit Bansal, Boqing Gong

机构 * Google DeepMind（谷歌DeepMind） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 Ego2Web通过结合真实世界第一人称视频与网络任务，解决网络代理在现实物理环境中的感知问题，提出LLM-as-a-Judge评估方法，揭示当前代理在视觉理解和任务规划上的不足。

Comments CVPR 2026. Project page: https://ego2web.github.io/

AerialVLA: A Vision-Language-Action Model for UAV Navigation via Minimalist End-to-End Control

AerialVLA：一种用于无人机导航的视觉-语言-动作模型 via 最小化端到端控制

Peng Xu, Zhengnan Deng, Jiayan Deng, Zonghua Gu, Shaohua Wan

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AerialVLA，一种基于视觉-语言-动作的端到端控制模型，通过减少视觉冗余并整合连续3D运动指令与内在着陆信号，实现无人机自主导航。实验表明其在可见环境和未知场景中均表现优异。

Comments 18 pages, 4 figures. Code and demo videos will be available at: https://github.com/XuPeng23/AerialVLA

MobileKernelBench: Can LLMs Write Efficient Kernels for Mobile Devices?

MobileKernelBench: LLMs能否为移动设备编写高效的内核？

Xingze Zou, Jing Wang, Yuhua Zheng, Xueyi Chen, Haolei Bai, Lingcheng Kong, Syed A. R. Abu-Bakar, Zhaode Wang, Chengfei Lv, Haoji Hu, Huan Wang

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨LLMs能否为移动设备编写高效内核，提出MobileKernelBench框架，发现现有模型在移动框架中表现不佳，提出MoKA多智能体系统提升编译成功率和性能。

Comments Paper webpage: https://zeezou-isee.github.io/Mobilekernelbench/

PVI: Plug-in Visual Injection for Vision-Language-Action Models

PVI：插件式视觉注入用于视觉-语言-动作模型

Zezhou Zhang, Songxin Zhang, Xiao Xiong, Junjie Zhang, Zejian Xie, Jingyi Xi, Zunyao Mao, Zan Mao, Zhixin Mai, Zhuoyang Song, Jiaxing Zhang

机构 * Lionrock AI Lab（Lionrock人工智能实验室） ； China Merchants Group（中国商人集团） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出PVI模块，通过零初始化残差路径注入辅助视觉特征，提升视觉-语言-动作模型的时间信息处理能力，实验证明其在多阶段任务中优于静态图像特征。

Overcoming Visual Clutter in Vision Language Action Models via Concept-Gated Visual Distillation

通过概念门控视觉蒸馏克服视觉杂乱

Sangmim Song, Sarath Kodagoda, Marc Carmichael, Karthick Thiyagarajan

机构 * University of Technology Sydney（技术大学悉尼大学） ； Western Sydney University（西悉尼大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出概念门控视觉蒸馏方法，通过视觉蒸馏技术解决杂乱环境中视觉语言动作模型的精度-推理间隙问题，显著提升机器人操作的成功率。

Comments 7 pages, 4 figures, 3 tables

Hybrid Self-evolving Structured Memory for GUI Agents

混合自进化结构记忆用于GUI代理

Sibo Zhu, Wenyi Wu, Kun Zhou, Stephen Wang, Biwei Huang

机构 * University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 HyMEM通过结合离散符号节点与连续轨迹嵌入，提升GUI代理的结构化记忆与自进化能力，使开源模型性能超越闭源模型。

NavSpace: How Navigation Agents Follow Spatial Intelligence Instructions

NavSpace: 导航代理如何遵循空间智能指令

Haolin Yang, Yuxing Long, Zhuoyuan Yu, Zihan Yang, Minghan Wang, Jiapeng Xu, Yihan Wang, Ziyan Yu, Wenzhe Cai, Lei Kang, Hao Dong

机构 * CFCS, School of Computer Science, Peking University（计算机学院，北京大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 NavSpace基准测试通过评估导航代理的空间感知与推理能力，提出SNav模型在指令遵循任务中表现优异，为具身智能研究提供新基准。

Comments ICRA 2026

CuriousBot: Interactive Mobile Exploration via Actionable 3D Relational Object Graph

CuriousBot: 通过可操作的3D关系物体图进行交互式移动探索

Yixuan Wang, Leonor Fermoselle, Tarik Kelestemur, Jiuguang Wang, Yunzhu Li

机构 * School of Engineering and Applied Science, Columbia University（工程与应用科学学院，哥伦比亚大学） ； Robotics and AI Institute（机器人与人工智能研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 CuriousBot通过可操作的3D关系物体图实现交互式移动探索，优于仅依赖视觉-语言模型的方法。

Comments Accepted to IEEE Robotics and Automation Letters (RA-L). Project Page: https://curiousbot.theaiinstitute.com/

Generalization in Online Reinforcement Learning for Mobile Agents

移动端智能体在线强化学习中的泛化能力

Li Gu, Zihuan Jiang, Zhixiang Chi, Huan Liu, Ziqiang Wang, Yuanhao Yu, Glen Berseth, Yang Wang

机构 * Mila – Québec AI Institute（魁北克AI研究所） ； Concordia University（康科迪亚大学） ； Université de Montréal（蒙特利尔大学） ； CIFAR AI Chair（CIFAR人工智能主席） ； University of Toronto（多伦多大学） ； McMaster University（麦马斯特大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出AndroidWorld-Generalization基准，通过整合GRPO与可扩展回放系统，评估移动端智能体在未见任务实例、模板和应用上的泛化能力，并展示RL在提升性能上的效果。

PROSPECT: Unified Streaming Vision-Language Navigation via Semantic--Spatial Fusion and Latent Predictive Representation

PROSPECT：通过语义-空间融合和潜在预测表示实现统一的流式视觉-语言导航

Zehua Fan, Wenqi Lyu, Wenxuan Song, Linge Zhao, Yifei Yang, Xi Wang, Junjie He, Lida Huang, Haiyan Liu, Bingchuan Sun, Guangjun Bao, Xuanyao Mao, Liang Xu, Yan Wang, Feng Gao

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； University of Adelaide（阿德莱德大学） ； Wuhan University（武汉大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beijing Jiaotong University（北京交通大学） ； AIR Wuxi Innovation Center, Tsinghua University（清华大学无锡创新中心） ； Lenovo（联想集团） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 PROSPECT通过语义-空间融合和潜在预测表示，实现统一的流式视觉-语言导航，提升环境动态和空间结构的预测能力。

Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

神经符号技能发现用于条件多级规划

Hakan Aktas, Yigit Yildirim, Ahmet Firat Gamsiz, Deniz Bilge Akkoc, Erhan Oztop, Emre Ugur

机构 * Department of Computer Science and Technology The University of Cambridge（计算机科学与技术系 剑桥大学） ； Department of Computer Engineering Bogazici University（计算机工程系 boazici大学） ； SISREC Osaka University（Osaka大学SISREC） 纠错

专题命中 GUI与屏幕智能体 ：visual language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种神经符号学习架构，通过少量演示获取可推广的高级符号技能，并在多级规划中实现复杂任务的执行。

Comments 18 pages, 4 figures

Spatio-Temporal Token Pruning for Efficient High-Resolution GUI Agents

时空令牌剪枝用于高效高分辨率GUI代理

Zhou Xu, Bowen Zhou, Qi Wang, Shuwen Feng, Jingyu Xiao

机构 * Tsinghua University（清华大学） ； Xidian University（西安电子科技大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 GUIPruner通过时空令牌剪枝技术，实现高分辨率GUI导航的高效处理，显著提升性能并降低资源消耗。

Self-Correcting VLA: Online Action Refinement via Sparse World Imagination

自校正视觉-语言-动作模型：通过稀疏世界想象实现在线动作细化

Chenyv Liu, Wentao Tan, Lei Zhu, Fengling Li, Jingjing Li, Guoli Yang, Heng Tao Shen

机构 * Tongji University（同济大学） ； University of Technology Sydney（技术悉尼大学） ； University of Electronic Science（电子科学大学） ； Advanced Institute of Big Data（大数据高级研究所） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 SC-VLA通过稀疏世界想象实现自校正，提升机器人操作任务的效率和成功率。

Inner Speech as Behavior Guides: Steerable Imitation of Diverse Behaviors for Human-AI coordination

内部言语作为行为引导：为人类-人工智能协调的可操控模仿

Rakshit Trivedi, Kartik Sharma, David C Parkes

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Harvard University（哈佛大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 MIMIC通过语言作为内部表示，利用视觉语言模型和扩散策略实现人类-人工智能协调中的行为引导与多样化的模仿控制。

Comments Spotlight paper at NeurIPS 2025

RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning

RoboCurate: 利用动作验证的神经轨迹 harnessing 多样性以促进机器人学习

Seungku Kim, Suhyeok Jang, Byungjun Yoon, Dongyoung Kim, John Won, Jinwoo Shin

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 RoboCurate通过动作验证的神经轨迹和图像编辑技术，提升机器人学习中合成数据的质量和多样性，显著提高任务成功率。

Comments 20 pages; 6 figures; Project page is available at https://seungkukim.github.io/robocurate/

PLAICraft: Large-Scale Time-Aligned Vision-Speech-Action Dataset for Embodied AI

PLAICraft: 大规模时间对齐的视觉-语音-动作数据集用于具身人工智能

Yingchen He, Christian D. Weilbach, Martyna E. Wojciechowska, Yuxuan Zhang, Frank Wood

机构 * University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 PLAICraft通过大规模时间对齐的视觉-语音-动作数据集，推动具身人工智能的研究与评估。

Comments 9 pages, 8 figures

Learning to Retrieve Navigable Candidates for Efficient Vision-and-Language Navigation

学习高效视觉-语言导航中的可导航候选检索

Shutian Gu, Chengkai Huang, Ruoyu Wang, Lina Yao

机构 * University of New South Wales, Sydney, Australia（新南威尔士大学） ； Macquarie University, Sydney, Australia（麦考瑞大学） ； Data61, CSIRO, Sydney, Australia（Data61, CSIRO） ； The School of Computer Science（计算机科学学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出检索增强框架，通过指令级示例检索和候选剪枝提升LLM在视觉-语言导航中的效率和稳定性。

HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving

HiST-VLA：一种用于端到端自动驾驶的分层时空视觉-语言-动作模型

Yiru Wang, Zichong Gu, Yu Gao, Anqing Jiang, Zhigang Sun, Shuo Wang, Yuwen Heng, Hao Sun

机构 * Bosch Corporate Research（博世企业研究） ； School of Communication and Information Engineering（信息工程学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 HiST-VLA通过分层时空视觉-语言-动作模型提升自动驾驶轨迹生成的精度与效率，实现端到端的自动驾驶系统。

Neuro-symbolic Action Masking for Deep Reinforcement Learning

神经符号动作遮蔽用于深度强化学习

Shuai Han, Mehdi Dastani, Shihan Wang

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 NSAM通过自动学习符号模型与深度策略优化结合，提升深度强化学习的样本效率并减少约束违规。

GEBench: Benchmarking Image Generation Models as GUI Environments

GEBench: 图形用户界面生成模型的基准测试

Haodong Li, Jingwei Wu, Quan Sun, Guopeng Li, Juanxi Tian, Huanyu Zhang, Yanlin Lai, Ruichuan An, Hongbo Peng, Yuhong Dai, Chenxi Li, Chunmei Qing, Jia Wang, Ziyang Meng, Zheng Ge, Xiangyu Zhang, Daxin Jiang

机构 * StepFun ； South China University of Technology（南方科技大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所） ； The University of Chicago（芝加哥大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 GEBench提出一个评估GUI生成模型动态交互和时间一致性的基准测试，通过五维指标揭示模型在多步交互中的瓶颈问题。

Comments 23 pages, 5 figures, 4 tables