VLA / 视觉-语言-动作模型

Reinforcing VLAs in Task-Agnostic World Models

在任务无关的世界模型中强化视觉-语言-动作

Yucen Wang, Rui Yu, Fengming Zhang, Junjie Lu, Xinyao Qin, Tianxiang Zhang, Kaixin Wang, Li Zhao

机构 * Microsoft Research Asia（微软亚洲研究院） ； Nanjing University（南京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Wuhan University（武汉大学） ； University of Technology Sydney（悉尼科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(abstract)；分类 cs.AI

AI总结 本文提出RAW-Dream方法，通过分离世界模型学习与下游任务依赖，利用预训练的世界模型和现成的视觉-语言模型，实现零样本推理，从而在无需任务特定数据的情况下提高VLA适应性。

OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models

OneDrive: 统一的多范式驾驶与视觉-语言-动作模型

Yiwei Zhang, Xuesong Chen, Jin Gao, Hanshi Wang, Fudong Ge, Weiming Hu, Shaoshuai Shi, Zhipeng Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA School of Artificial Intelligence, University of Chinese Academy of Sciences AutoLab, School of Artificial Intelligence, Shanghai Jiao Tong University Voyager Research, Didi Chuxing School of Information Science（多模态人工智能系统国家重点实验室，中国科学院自动化所人工智能学院，中国科学院大学，AutoLab，上海交通大学人工智能学院，Voyager Research，滴滴出行，信息科学与技术学院） 纠错

专题命中 VLA模型 ：vision-language-action(title)；action model(title)；分类 cs.CV

AI总结 本文提出基于预训练视觉语言模型的统一自动驾驶框架，通过单一Transformer解码器整合异构解码行为，实现多任务联合优化，实验表明在nuScenes和NAVSIM上取得最优性能，且推理效率高。

CoMaTrack: Competitive Multi-Agent Game-Theoretic Tracking with Vision-Language-Action Models

CoMaTrack: 基于竞争的多智能体博弈跟踪与视觉-语言-动作模型

Youzhi Liu, Li Gao, Liu Liu, Mingyang Lv, Yang Cai

机构 * Amap, Alibaba Group（高德，阿里巴巴集团） 纠错

专题命中 VLA模型 ：vision-language-action(title)；action model(title)；分类 cs.AI

AI总结 本文提出CoMaTrack，一种基于竞争的多智能体强化学习框架，通过动态对抗环境训练，提升跟踪任务的适应性和鲁棒性，并引入首个开源的CoMaTrack-Bench基准测试平台。

3D-Generalist: Self-Improving Vision-Language-Action Models for Crafting 3D Worlds

Fan-Yun Sun, Shengguang Wu, Christian Jacobsen, Thomas Yim, Haoming Zou, Alex Zook, Shangru Li, Yu-Hsin Chou, Ethem Can, Xunlei Wu, Clemens Eppner, Valts Blukis, Jonathan Tremblay, Jiajun Wu, Stan Birchfield, Nick Haber

机构 * Stanford University（斯坦福大学） ； Nvidia Research（英伟达研究） 纠错

专题命中 VLA模型 ：vision-language-action(title)；action model(title)；分类 cs.CV

Comments project website: https://ai.stanford.edu/~sunfanyun/3d-generalist/

CrayonRobo: Object-Centric Prompt-Driven Vision-Language-Action Model for Robotic Manipulation

Xiaoqi Li, Lingyun Xu, Mingxu Zhang, Jiaming Liu, Yan Shen, Iaroslav Ponomarenko, Jiahui Xu, Liang Heng, Siyuan Huang, Shanghang Zhang, Hao Dong

机构 * School of Computer Science, Peking University（北京大学计算机学院） ； PKU-Agibot Lab（北京大学AGIBOT实验室） 纠错

专题命中 VLA模型 ：vision-language-action(title)；action model(title)；分类 cs.RO

Comments CVPR 2025

Flex-$π$: A Multi-Stream World-Action Model with Compute Flexibility

Flex-$π$：具备计算灵活性的多流世界-动作模型

Ge Yan, Jinghao Liu, Yuzhi Fan, Lei Cai, Minwen Liao, Jesse Zhang, Dieter Fox

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.CV

AI总结 该研究提出Flex-$π$多流世界-动作模型，利用冻结的视频生成VAE实现多模态监督，通过混合专家Transformer与每流丢弃机制提升效率，在双臂操作任务上性能优于基线模型且运行更快。

Comments Project page: https://flex-pi.github.io/

SG-WAM: Text-Grounded and Spatial-aware Semantic Guidance for World-Action Models

SG-WAM：面向世界-动作模型的文本 grounded 与空间感知语义引导

Junjie He, Junfeng Li, Zhide Zhong, Haodong Yan, Ruixin Li, Yangyang Zheng, Jiaguan Zhu, Tianran Zhang, Yuqiao Du, Wen Chen, Shunbo Zhou, Haoang Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Ola Dimensions（奥拉维度公司） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.CV

AI总结 针对现有世界-动作模型（WAM）存在的视频与指令语义不对齐问题，提出基于视觉-语言模型（VLM）的SG-WAM语义引导方法，通过注入文本接地且空间感知的语义前瞻，提升了WAM的指令遵循与操纵精度，经仿真和真实实验验证有效。

Decoupling Intention from Trajectory: A Representational Deduction Framework for World Action Models

将意图与轨迹解耦：面向世界动作模型的表示演绎框架

Xiangkai Ma, Yue Ma, Junjie Wang, Sheng Xu, Mingyang Li, Han Zhang, Yuzheng Zhuang, Wenzhong Li, Zhihao Yuan

机构 * NJU（南京大学） ； HKUST（香港科技大学） ； CUHK-SZ（香港中文大学（深圳）） ； THU（清华大学） ； Joy Future Academy, JD（京东探索研究院） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.AI

AI总结 针对现有世界动作模型的表示纠缠问题，提出PILOT的表示演绎框架，解耦运动语义与轨迹细节，提升复杂机器人操纵任务的性能与可解释性，兼具少样本微调及架构迁移的可扩展性。

Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models

Robust-WAM：桥接生成式预训练与世界-动作模型中的语义前瞻

Haodong Yan, Junfeng Li, Junjie He, Zhide Zhong, MingMing Yu, Wenxuan Song, Jiaguan Zhu, Yangyang Zheng, Yuqiao Du, Jiadi You, Yingjie Cai, Xu Yan, Guanyi Zhao, Bingbing Liu, Haoang Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beihang University（北京航空航天大学） ； Huawei Foundation Model Department（华为基础模型部门） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.CV

AI总结 Robust-WAM是一种通用后训练方法，在保留VAE生成路径的同时添加语义前瞻对齐，可提升多个WAM基线在分布外条件下的动作预测成功率且不损失分布内性能。

QuantWAMs: Calibrating at the Right Granularity for World Action Models

QuantWAMs：为世界动作模型校准至合适粒度

Jiacheng Zhou, Jinfan Lv, Ruixuan Li, Longtai Zhang, Yan Wang, Wenqiang Zhang, Lizhe Qi

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出QuantWAMs框架，通过三种校准策略优化后训练量化，在WAMs上实现内存大幅降低与速度提升，同时保持与FP16接近的性能，验证了部署可行性。

Comments 13 pages, 6 figures

DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning

DeVA：用于机器人策略学习的具有物理引导的解耦视频-动作模型

Mengqi Zhang, Sahil Khose, Simar Kareer, Yuchen Song, Unnat Jain, Judy Hoffman

机构 * University of California, Irvine（加利福尼亚大学欧文分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 VLA模型 ：action model(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 研究可泛化机器人操纵策略，提出DeVA模型，通过专门的视频和动作专家、多级特征转移及物理显著引导，实现丰富信息交换，使策略学习更易处理，在模拟和实际实验中展现良好性能。

Comments Project page with videos, code, and checkpoints: https://deva-model.github.io/

From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence

从世界行动模型到具身大脑：开放世界物理智能路线图

Yuanzhi Liang, Xufeng Zhan, Haibin Huang, Chi Zhang, Xuelong Li

机构 * IEEE 纠错

专题命中 VLA模型 ：action model(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 研究针对通用人工智能中物理世界推理行动的进展零散问题，提出以具身大脑为中心的物理智能协同进化路线图，利用世界行动模型等，通过物理框架、共享契约和闭环训练等构建模块化智能栈，推动物理智能发展。

Comments Ongoing work

MM-Nav: Multi-View VLA Model for Robust Visual Navigation via Multi-Expert Learning

MM-Nav：基于多专家学习的多视角VLA模型用于鲁棒视觉导航

Tianyu Xu, Jiawei Chen, Jiazhao Zhang, Wenyao Zhang, Zekun Qi, Minghan Li, Zhizheng Zhang, He Wang

机构 * Peking University（北京大学） ； Galbot ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出MM-Nav模型，通过多专家学习从合成数据中学习多样化的导航能力，展示模型在合成环境中的强泛化能力，并在现实世界实验中验证其有效性。

Comments Project page: https://pku-epic.github.io/MM-Nav-Web/

World Action Models: A Survey

世界行动模型：综述

Qiuhong Shen, Shihua Zhang, Yue Liao, Qi Li, Zhenxiong Tan, Shizun Wang, Shuicheng Yan, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 本文综述世界行动模型（WAMs），通过两种互补视角组织现有工作，揭示其设计权衡与未来趋势。

Comments 57 pages, 6 figures

Ego-Pi: VLA Fine-Tuning for Ego-Centric Human and Robot Data

Ego-Pi: 面向自我中心人类与机器人数据的VLA微调

Ji Woong Kim, Ke Wang, Zipeng Fu, Sirui Chen, Cong Zhao, Jeff Lai, Chelsea Finn

机构 * Stanford University（斯坦福大学） ； Meta 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；分类 cs.RO、cs.AI

AI总结 为解决机器人数据稀缺问题，利用自我中心人类数据，基于π₀.₅模型微调，使机器人学习新任务语义并组合现有技能，无需对应机器人数据。

WorldVLN: Autoregressive World Action Model for Aerial Vision-Language Navigation

WorldVLN: 用于空域视觉-语言导航的自回归世界动作模型

Baining Zhao, Jiacheng Xu, Weicheng Feng, Xin Zhang, Zhaolu Wang, Haoyang Wang, Shilong Ji, Ziyou Wang, Jianjie Fang, Zhiheng Zheng, Weichen Zhang, Yu Shang, Wei Wu, Chen Gao, Xinlei Chen, Yong Li

机构 * Tsinghua University（清华大学） ； Shandong University（山东大学） ； Manifold AI ； Beijing Institute of Technology（北京理工大学） ； Northeastern University（东北大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 WorldVLN提出一种自回归世界动作模型，通过预测潜在世界演变并生成可执行的航点动作，提升空域视觉-语言导航性能，优于现有基线模型。

Premover: Fast Vision-Language-Action Control by Acting Before Instructions Are Complete

Premover: 通过在指令完成前行动实现快速的视觉-语言-动作控制

Joonha Park, Jiseung Jeong, Taesik Gong

机构 * UNIST（全南大学） ； The Catholic University of Korea（韩国天主教大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.AI

AI总结 Premover通过在用户指令完成前进行预计算，减少机器人交互时间，同时保持高成功率。

Vision-Language-Action in Robotics: A Survey of Datasets, Benchmarks, and Data Engines

机器人中的视觉-语言-动作：数据集、基准和数据引擎的综述

Ziyao Wang, Bingying Wang, Hanrong Zhang, Tingting Du, Tianyang Chen, Guoheng Sun, Yexiao He, Zheyu Shen, Wanghao Ye, Ang Li

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； University of Utah（犹他大学） ； Northeastern University（东北大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 VLA模型 ：vision-language-action(title)；VLA(abstract,abstract_cn)；分类 cs.RO、cs.AI

AI总结 本文综述了视觉-语言-动作研究中数据基础设施的关键挑战，指出未来进展依赖于数据引擎与评估协议的协同设计，揭示了数据集、基准和数据引擎的四大开放挑战。

Comments This is a survey paper. The survey is already accepted by TMLR after peer-review. The OpenReview link is here: https://openreview.net/forum?id=tAaWFpvnmm

ABot-M0: VLA Foundation Model for Robotic Manipulation with Action Manifold Learning

ABot-M0：基于动作流形学习的机器人操控VLA基础模型

Yandan Yang, Shuang Zeng, Tong Lin, Xinyuan Chang, Dekang Qi, Junjin Xiao, Haoyun Liu, Ronghan Chen, Yuzhi Chen, Dongjie Huo, Feng Xiong, Xing Wei, Zhiheng Ma, Mu Xu

机构 * AMAP CV Lab（AMAP视觉实验室） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；分类 cs.RO、cs.CV

AI总结 ABot-M0通过统一预训练和动作流形学习，提升机器人操控的泛化能力与效率，构建了大规模数据集并支持模块化感知。

Comments Project website: https://amap-cvlab.github.io/ABot-Manipulation/ . Code: https://github.com/amap-cvlab/ABot-Manipulation . 22 pages, 10 figures, 10 tables

Learning Vision-Language-Action World Models for Autonomous Driving

学习视觉-语言-动作世界模型以实现自动驾驶

Guoqing Wang, Pin Tang, Xiangxuan Ren, Guodongfang Zhao, Bailan Feng, Chao Ma

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室） ； Central Research Institute, Huawei（华为中央研究院） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLA-World模型，通过结合预测想象与反思推理提升自动驾驶的前瞻性。该模型利用生成的轨迹引导图像生成，并通过反思优化轨迹预测，实验表明其在规划和未来场景生成任务中优于现有方法。

Comments Accepted by CVPR2026 findings

GeoPredict: Leveraging Predictive Kinematics and 3D Gaussian Geometry for Precise VLA Manipulation

GeoPredict: 借助预测运动学和3D高斯几何实现精确VLA操作

Jingjing Qian, Boyao Han, Chen Shi, Lei Xiao, Long Yang, Shaoshuai Shi, Li Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Hunan University（湖南大学） ； Voyager Research, Didi Chuxing（滴滴出行沃歌研究） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 GeoPredict通过引入轨迹级模块和预测3D高斯几何模块，提升VLA模型在3D空间推理中的精度，实验表明其在几何密集和空间要求高的任务中表现优异。

Causal Scene Narration with Runtime Safety Supervision for Vision-Language-Action Driving

基于运行时安全监督的因果场景叙述用于视觉-语言-动作驾驶

Yun Li, Yidu Zhang, Simon Thompson, Ehsan Javanmardi, Manabu Tsukada

机构 * Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院） ； TIER IV, Inc.（TIER IV 公司） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.AI

AI总结 本文提出CSN方法，通过意图约束对齐、定量 grounding 和结构分离重构VLA文本输入，提升驾驶评分并增强安全性。

Comments 18 pages, 6 figures, 4 tables

Uni-World VLA: Interleaved World Modeling and Planning for Autonomous Driving

Uni-World VLA：自主驾驶中的交织世界建模与规划

Qiqi Liu, Huan Xu, Jingyu Li, Bin Sun, Zhihui Hao, Dangen She, Xiatian Zhu, Li Zhang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Li Auto Inc.（理想汽车） ； University of Surrey（萨里大学） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出Uni-World VLA模型，通过交织未来帧预测与轨迹规划提升自主驾驶决策能力，结合单目深度信息增强场景预测。

Comments 22 pages, 8 figures. Submitted to ECCV 2026. Code will be released

HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild

HarvestFlex: 通过视觉-语言-动作策略适应实现草莓采摘

Ziyang Zhao, Shuheng Wang, Zhonghua Miao, Ya Xiong

机构 * The Intelligent Equipment Research Center, Beijing Academy of Agriculture and Forestry Sciences（北京农业与林业科学研究院智能装备研究所） ； The School of Mechanical Electrical Engineering and Automation, Shanghai University（上海大学机械电子工程与自动化学院） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.CV

AI总结 HarvestFlex通过视觉-语言-动作策略适应，在真实温室中实现了高效草莓采摘，成功率达74%。

Characterizing VLA Models: Identifying the Action Generation Bottleneck for Edge AI Architectures

表征VLA模型：识别边缘AI架构中的动作生成瓶颈

Manoj Vishwanathan, Suvinay Subramanian, Anand Raghunathan

机构 * Google, Mountain View, CA（谷歌，山景城，加利福尼亚） ； Purdue University, West Lafayette, IN（普渡大学，沃斯堡，印第安纳） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 本文研究了VLA模型在边缘AI中的动作生成瓶颈，通过分析发现动作生成阶段占端到端延迟的75%，并探讨了扩展至100B参数模型的硬件需求及未来技术路径。

Comments 3 Pages 4 Figures for Workshop paper

InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

InstructVLA: 从理解到操作的视觉-语言-动作指令微调

Shuai Yang, Hao Li, Bin Wang, Yilun Chen, Yang Tian, Tai Wang, Hanqing Wang, Feng Zhao, Yiyi Liao, Jiangmiao Pang

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.CV

AI总结 InstructVLA通过视觉-语言-动作指令微调，实现了在多模态推理和动作生成之间的平衡，提升了机器人在复杂任务中的操控性能和泛化能力。

Comments 48 pages

ATA: Bridging Implicit Reasoning with Attention-Guided and Action-Guided Inference for Vision-Language Action Models

ATA：通过注意力引导和动作引导推理桥接隐式推理用于视觉-语言-动作模型

Cheng Yang, Jianhao Jiao, Lingyi Huang, Jinqi Xiao, Zhexiang Tang, Yu Gong, Yibiao Ying, Yang Sui, Jintian Lin, Wen Huang, Bo Yuan

机构 * Rutgers University（罗格斯大学） ； University College London（伦敦大学学院） ； Rice University（Rice大学） ； TCL High-Tech Development Co., Ltd.（TCL高科技发展有限公司） 纠错

专题命中 VLA模型 ：action model(title)；vision-language-action(abstract)；VLA(abstract)；分类 cs.CV、cs.AI

AI总结 ATA提出了一种无需训练的隐式推理框架，通过注意力引导和动作引导策略提升视觉-语言-动作模型的任务成功率和鲁棒性，同时保持高效推理。

Comments Accepted by ICRA 2026

Mean-Flow based One-Step Vision-Language-Action

基于均流的单步视觉-语言-动作

Yang Chen, Xiaoguang Ma, Bin Zhao

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.AI

AI总结 本文提出基于均流的单步VLA方法，通过消除传统流匹配方法的一致性约束，显著提升生成效率，实现实时动作生成，实验表明其在机器人操作中的高效性。

SignVLA: A Gloss-Free Vision-Language-Action Framework for Real-Time Sign Language-Guided Robotic Manipulation

SignVLA：一种无 gloss 的视觉-语言-动作框架，用于实时 sign language 引导的机器人操作

Xinyu Tan, Ningwei Bai, Harry Gardener, Zhengyang Zhong, Luoyu Zhang, Liuhaichen Yang, Zhekai Duan, Monkgogi Galeitsiwe, Zezhi Tang

机构 * Department of Computer Science, University College London (UCL)（计算机科学系，伦敦大学学院（UCL）） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.AI

AI总结 SignVLA 提出了一种无 gloss 的视觉-语言-动作框架，用于实时手语引导的机器人操作，通过几何归一化、时间平滑和词汇精炼提升多模态交互的稳定性和可扩展性。

Comments 7 pages, 2 figures

SimVLA: A Simple VLA Baseline for Robotic Manipulation

SimVLA：一种简单的VLA基线用于机器人操作

Yuankai Luo, Woping Chen, Tong Liang, Baiqiao Wang, Zhenguo Li

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.LG

AI总结 SimVLA通过简化设计实现了最先进的机器人操作性能，展示了最小参数模型在模拟和真实环境中的优越表现。