VLA / 视觉-语言-动作模型

A Vision-Language-Action-Critic Model for Robotic Real-World Reinforcement Learning

Shaopeng Zhai, Qi Zhang, Tianyi Zhang, Fuxian Huang, Haoran Zhang, Ming Zhou, Shengzhe Zhang, Litao Liu, Sixu Lin, Jiangmiao Pang

机构 * Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.AI

Comments 26 pages,10 figures

ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation

Jiawen Yu, Hairuo Liu, Qiaojun Yu, Jieji Ren, Ce Hao, Haitong Ding, Guangyu Huang, Guofan Huang, Yan Song, Panpan Cai, Cewu Lu, Wenqiang Zhang

机构 * Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Lab（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； Shanghai University（上海大学） ； Xi’an Jiaotong University（西安交通大学） ； Noematrix Intelligence（Noematrix智能科技） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

Comments NeurIPS 2025

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

机构 * Shanghai AI Lab（上海人工智能实验室） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； Peking University（北京大学） ； SenseTime Research（商汤科技研究院） ； Tsinghua University（清华大学） ； HKISI, CAS（中国科学院香港中文大学研究所） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(abstract)；分类 cs.RO、cs.CV

Comments Preprint; https://robodita.github.io; To appear in ICCV2025

Align-Then-stEer: Adapting the Vision-Language Action Models through Unified Latent Guidance

Yang Zhang, Chenwei Wang, Ouyang Lu, Yuan Zhao, Yunfei Ge, Zhenglong Sun, Xiu Li, Chi Zhang, Chenjia Bai, Xuelong Li

机构 * Institute of Artificial Intelligence, China Telecom（中国电信人工智能研究院） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 VLA模型 ：action model(title)；vision-language-action(abstract)；VLA(abstract)；分类 cs.RO、cs.AI

Comments The first three authors contributed equally

Balancing Signal and Variance: Adaptive Offline RL Post-Training for VLA Flow Models

Hongyin Zhang, Shiyuan Zhang, Junxi Jin, Qixin Zeng, Yifan Qiao, Hongchao Lu, Donglin Wang

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.LG

Grounding Actions in Camera Space: Observation-Centric Vision-Language-Action Policy

Tianyi Zhang, Haonan Duan, Haoran Hao, Yu Qiao, Jifeng Dai, Zhi Hou

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Shanghai AI Lab（上海人工智能实验室） ； SenseTime Research（商汤科技研究院） ； Nanjing University（南京大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.CV

FedVLA: Federated Vision-Language-Action Learning with Dual Gating Mixture-of-Experts for Robotic Manipulation

Cui Miao, Tao Chang, Meihan Wu, Hongbin Xu, Chun Li, Ming Li, Xiaodong Wang

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.RO、cs.AI

Comments Accepted by ICCV 2025

UP-VLA: A Unified Understanding and Prediction Model for Embodied Agent

Jianke Zhang, Yanjiang Guo, Yucheng Hu, Xiaoyu Chen, Xiang Zhu, Jianyu Chen

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University,Beijing, China（信息科学交叉研究所，清华大学，北京，中国） ； Shanghai Qi Zhi Institute, Shanghai, China（上海启智研究院，上海，中国） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.CV、cs.AI

Comments Accepted to ICML2025

Benchmarking Vision, Language, & Action Models in Procedurally Generated, Open Ended Action Environments

Pranav Guruprasad, Yangyue Wang, Sudipta Chowdhury, Harshvardhan Sikka, Paul Pu Liang

机构 * Manifold Research ； MIT（麻省理工学院） 纠错

专题命中 VLA模型 ：action model(title)；vision-language-action(abstract)；VLA(abstract)；分类 cs.CV、cs.LG

Comments 16 pages, 26 figures

Agentic Surgical AI: Surgeon Style Fingerprinting and Privacy Risk Quantification via Discrete Diffusion in a Vision-Language-Action Framework

Huixin Zhan, Jason H. Moore

机构 * Cedars-Sinai Medical Center（西达萨凡纳医学中心） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.CV、cs.AI

VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning

Guanxing Lu, Wenkai Guo, Chubin Zhang, Yuheng Zhou, Haonan Jiang, Zifeng Gao, Yansong Tang, Ziwei Wang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.AI

SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model

Delin Qu, Haoming Song, Qizhi Chen, Yuanqi Yao, Xinyi Ye, Yan Ding, Zhigang Wang, JiaYuan Gu, Bin Zhao, Dong Wang, Xuelong Li

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； ShanghaiTech University（上海科技大学） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；robot foundation model(abstract)；分类 cs.RO、cs.AI

Journal ref Robotics: Science and Systems, 2025

OpenHelix: A Short Survey, Empirical Analysis, and Open-Source Dual-System VLA Model for Robotic Manipulation

Can Cui, Pengxiang Ding, Wenxuan Song, Shuanghao Bai, Xinyang Tong, Zirui Ge, Runze Suo, Wanqi Zhou, Yang Liu, Bofang Jia, Han Zhao, Siteng Huang, Donglin Wang

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； Xi’an Jiaotong University（西安交通大学） ； HKUST(GZ) Project Lead（香港科技大学（广州）项目负责人） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy

Yuhui Chen, Shuai Tian, Shugao Liu, Yingting Zhou, Haoran Li, Dongbin Zhao

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.AI

OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents

Zihao Wang, Shaofei Cai, Zhancun Mu, Haowei Lin, Ceyao Zhang, Xuejie Liu, Qing Li, Anji Liu, Xiaojian Ma, Yitao Liang

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract)；分类 cs.AI、cs.LG

Comments accepted on NeurIPS 2024

A Dual Process VLA: Efficient Robotic Manipulation Leveraging VLM

ByungOk Han, Jaehong Kim, Jinhyeok Jang

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.CV

Comments 10 page

Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs

Hao-Tien Lewis Chiang, Zhuo Xu, Zipeng Fu, Mithun George Jacob, Tingnan Zhang, Tsang-Wei Edward Lee, Wenhao Yu, Connor Schenck, David Rendleman, Dhruv Shah, Fei Xia, Jasmine Hsu, Jonathan Hoech, Pete Florence, Sean Kirmani, Sumeet Singh, Vikas Sindhwani, Carolina Parada, Chelsea Finn, Peng Xu, Sergey Levine, Jie Tan

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO、cs.AI

Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA

通过强化学习增强的遥控操作与混合的灵巧专家VLA实现人机操作

Tutian Tang, Xingyu Ji, Wanli Xing, Ce Hao, Wenqiang Xu, Lin Shao, Cewu Lu, Qiaojun Yu, Jiangmiao Pang, Kaifeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Sharpa ； Shanghai AI Lab（上海人工智能实验室） ； Zhongguancun Academy（中关村学院） ； National University of Singapore（新加坡国立大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；vision-language-action(abstract)；分类 cs.RO

AI总结 本文提出IMCopilot和MoDE-VLA框架，通过强化学习和多模态融合提升机器人灵巧操作能力，实现接触丰富的手内任务性能提升。

Comments Project Homepage: https://sites.google.com/view/mode-vla

VITA-VLA: Efficiently Teaching Vision-Language Models to Act via Action Expert Distillation

Shaoqi Dong, Chaoyou Fu, Haihan Gao, Yi-Fan Zhang, Chi Yan, Chu Wu, Xiaoyu Liu, Yunhang Shen, Jing Huo, Deqiang Jiang, Haoyu Cao, Yang Gao, Xing Sun, Ran He, Caifeng Shan

机构 * Nanjing University（南京大学） ； Tencent Youtu Lab（腾讯优图实验室） ； CASIA（中国科学院自动化研究所） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；action model(abstract)；分类 cs.CV

Comments Homepage: https://ltbai.github.io/VITA-VLA/

UnderwaterVLA: Dual-brain Vision-Language-Action architecture for Autonomous Underwater Navigation

Zhangyuan Wang, Yunpeng Zhu, Yuqi Yan, Xiaoyuan Tian, Xinhao Shao, Meixuan Li, Weikun Li, Guangsheng Su, Weicheng Cui, Dixia Fan

机构 * School of Engineering, Westlake University（西lake大学工程学院） ； College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； College of Environmental and Resource Sciences, Zhejiang University（浙江大学环境与资源科学学院） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(abstract,comments)；分类 cs.RO

Comments This paper introduces the first VLA framework for AUVs, featuring a dual-brain architecture and zero-data MPC for real-world underwater navigation

WNM-3D: A World Navigation Model with 3D Scene Conditioning for Closed-Loop VLN

WNM-3D：一种用于闭环视觉语言导航的带3D场景条件的世界导航模型

Yuehao Huang, Yunzi Wu, Xiaotao Zhang, Xinhai Li, Jiankun Dong, Jiajun Lv, Chi Zhang, Chenjia Bai, Yong Liu, Xuelong Li

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；action model(abstract)；分类 cs.RO、cs.CV、cs.AI

AI总结 该研究提出带3D场景条件的WNM-3D模型，通过几何编码器与适配器整合场景上下文，经多阶段训练后在GN-Bench等数据集上的闭环导航性能优于同类模型。

SiMDex: Mining Similar Egocentric Videos for Cross-Embodiment Dexterous Manipulation

SiMDex：挖掘相似的自我中心视频以实现跨 embodiment 的灵巧操作

Nie Lin, Takehiko Ohkawa, Sijin Chen, Ruoshi Wen, Zhuohang Li, Liqun Huang, Zhengming Zhu, Yiming Bao, Yunfei Li, Minjie Cai, Xiao Ma, Wei Xu, Yoichi Sato

机构 * The University of Tokyo（东京大学） ； ByteDance Seed（字节跳动 Seed） ； The University of Hong Kong（香港大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；分类 cs.RO、cs.CV、cs.LG

AI总结 该研究提出SiMDex框架，通过三层流程从海量自我中心人类视频中挖掘与任务相关的子集，用于VLA后训练，仅用少量样本便显著提升了机器人灵巧操作的成功率，证明选择性数据整理更有效。

Comments 12 pages, 4 figures. Project page: https://lin-nie.github.io/SiMDex/

IntentVLA: Short-Horizon Intent Modeling for Aliased Robot Manipulation

IntentVLA：用于有歧义机器人操作的短周期意图建模

Shijie Lian, Bin Yu, Xiaopeng Lin, Zhaolong Shen, Laurence Tianruo Yang, Yurun Jin, Haishan Liu, Changti Wu, Hang Yuan, Cong Huang, Kai Chen

机构 * HUST（华中科技大学） ； ZGCA（中钢集团人工智能研究院） ； ZGCI（中钢智能科技有限公司） ； HIT（哈尔滨工业大学） ； HKUST(GZ)（香港科技大学（广州）） ； BUAA（北京航空航天大学） ； ZZU（浙江工业大学） ； ECNU（华东师范大学） ； USTC（中国科学技术大学） ； DeepCybo 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；分类 cs.RO、cs.CV、cs.AI

AI总结 IntentVLA通过编码近期视觉观测为紧凑的短周期意图表示，提升机器人操作的执行稳定性，并在多个基准测试中优于现有VLA基线。

Comments Code can be found in https://github.com/ZGC-EmbodyAI/IntentVLA

PhysBrain 1.0 Technical Report

PhysBrain 1.0 技术报告

Shijie Lian, Bin Yu, Xiaopeng Lin, Changti Wu, Hang Yuan, Xiaolin Hu, Zhaolong Shen, Yuzhuo Miao, Haishan Liu, Yuxuan Tian, Yukun Shi, Cong Huang, Kai Chen

机构 * PhysBrain Team（PhysBrain团队） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；action model(abstract)；分类 cs.RO、cs.CV、cs.AI

AI总结 PhysBrain 1.0 通过将大规模人类自体视频转化为结构化的物理常识监督，提升机器人适应能力，在多模态问答和具身控制基准测试中取得SOTA结果，尤其在SimplerEnv中表现突出。

Comments Project Page: https://phys-brain.github.io

When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs

当视觉超越语言：评估和缓解VLAs中的反事实失败

Yu Fang, Yuchun Feng, Dong Jing, Jiaqi Liu, Yue Yang, Zhenyu Wei, Daniel Szafir, Mingyu Ding

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；action model(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出CAG方法，通过双分支推理方案缓解VLAs中的反事实失败，提升语言跟随和任务成功率。

Comments Website: https://vla-cf.github.io/

Foresight Without Seeing: Latent Futures for World Action Models

无视觉前瞻：面向世界动作模型的潜在未来

Jiakai Huang, Zhongbo Wu, Zheng Zhang, Zihan Wang, Shan You, Tao Huang

机构 * Shanghai Jiao Tong University（上海交通大学） ； ACE Robotics（ACE机器人公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI

AI总结 本文提出ForeWAM，一种动力学条件下的直接策略WAM，通过Future-KV和动力学寄存器在无需显式生成未来视频的情况下，使直接策略WAMs兼具高效动作预测与预测动力学暴露能力，在LIBERO和LIBERO-Plus上取得高成功率。

Comments 12 pages, 3 figures

4D-WAM: Infusing Spatiotemporal Awareness into World Action Models through Trajectory Fields

4D-WAM：通过轨迹场将时空感知注入世界动作模型

Lishan Yang, Wenxuan Song, Xi Wang, Pingyue Sheng, Zheng Fang, Ziyang Zhou, Junjie He, Haodong Yan, Jiayi Chen, Nan Sun, Qiao Sun, Pengwei Wang, Lingqiao Liu, Yan Wang, Yuxiang Gao, Feras Dayoub, Haoang Li

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO

AI总结 本研究提出模型无关的4D-WAM，通过运动对齐与目标对齐两个互补目标，将3D轨迹场的时空知识注入世界动作模型，在多基准实验中显著提升了模型的空间理解等多项性能。

HarnessWAM: Bridging Prediction and Deliberation in World Action Models

HarnessWAM：弥合世界动作模型中的预测与审议差距

Zhaopeng Gu, Bingke Zhu, Tianxi Lin, Guibo Zhu, Yingying Chen, Kai Wang, Tingyu Yuan, Chaoyang Zhao, Zhaowen Li, Peng Su, Jinqiao Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Yinwang Intelligent Technology Co., Ltd.（银湾智能科技有限公司） ； Beijing Institute of Technology（北京理工大学） ； Wuhan AI Research（武汉人工智能研究院） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO

AI总结 针对世界动作模型的预测-审议差距，提出HarnessWAM框架，通过双时间尺度反馈环等机制，在两个基准数据集上取得最优任务成功率，扩展了WAMs的具身任务执行能力。

Rethink Before You Execute: Adaptive Execution for World Action Models

执行前再思考：世界动作模型的自适应执行

Feng Ye, Yiming Zhao, Yong Yu, Hongxu Zhou, Yong Pan, Yuan Xue, Peng Jia, Chuanmin Jia

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO

AI总结 本文针对世界动作模型（WAMs）的固定执行 horizon 缺陷，提出自适应执行方案TempoWAM，经实验可改善WAM执行的效率-成功率权衡，在真实机器人任务中表现优异。

Vid2WAM: Distilling Video Diffusion Priors into World Action Models

Vid2WAM：将视频扩散先验蒸馏为世界动作模型

Chenhao Qiu, Ruixiang Wang, Runyi Zhao, Sixu Lin, Songen Gu, Shufeng Nan, Guiliang Liu, Kui Jia, Yanwei Fu, Simo Wu

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO

AI总结 Vid2WAM是将视频扩散先验蒸馏为WAM的离线框架，通过双监督通道与源感知残差动作适配，提升了机器人策略的新任务泛化性与数据效率，且推理高效。

Comments Project website: https://qch-fa.github.io/vid2wam-website/