VLA / 视觉-语言-动作模型

Bridging Embodiment Gaps: Deploying Vision-Language-Action Models on Soft Robots

Haochen Su, Cristian Meo, Francesco Stella, Andrea Peirone, Kai Junge, Josie Hughes

机构 * EPFL（苏黎世联邦理工学院） ； LatentWorlds AI ； TUDelft（代尔夫特理工大学） ； Embodied AI SA（具身人工智能股份有限公司） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract)；分类 cs.RO、cs.AI、cs.LG

Comments Accepted by NeurIPS 2025 SpaVLE workshop. 4 pages, 2 figures(in main paper, excluding references and supplements)

HyperVLA: Efficient Inference in Vision-Language-Action Models via Hypernetworks

Zheng Xiong, Kang Li, Zilin Wang, Matthew Jackson, Jakob Foerster, Shimon Whiteson

机构 * University of Oxford（牛津大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract)；分类 cs.RO、cs.AI、cs.LG

IRL-VLA: Training an Vision-Language-Action Policy via Reward World Model

Anqing Jiang, Yu Gao, Yiru Wang, Zhigang Sun, Shuo Wang, Yuwen Heng, Hao Sun, Shichen Tang, Lijuan Zhu, Jinhao Chai, Jijun Wang, Zichong Gu, Hao Jiang, Li Sun

机构 * Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；VLA(title,abstract)；分类 cs.RO、cs.CV、cs.AI

Comments 9 pagres, 2 figures

A Survey on Vision-Language-Action Models for Autonomous Driving

Sicong Jiang, Zilin Huang, Kangan Qian, Ziang Luo, Tianze Zhu, Yang Zhong, Yihong Tang, Menglin Kong, Yunlong Wang, Siwen Jiao, Hao Ye, Zihao Sheng, Xin Zhao, Tuopu Wen, Zheng Fu, Sikai Chen, Kun Jiang, Diange Yang, Seongjin Choi, Lijun Sun

机构 * McGill University（麦吉尔大学） ； Tsinghua University（清华大学） ； Xiaomi Corporation（小米公司） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of Minnesota–Twin Cities（明尼苏达大学双城分校） ； State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University（智能绿色车辆与移动国家重点实验室，清华大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract)；分类 cs.RO、cs.CV、cs.AI

ChatVLA-2: Vision-Language-Action Model with Open-World Embodied Reasoning from Pretrained Knowledge

Zhongyi Zhou, Yichen Zhu, Junjie Wen, Chaomin Shen, Yi Xu

机构 * Midea Group（美的集团） ； East China Normal University（华东师范大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract)；分类 cs.RO、cs.CV、cs.AI

Comments Project page: https://chatvla-2.github.io/

PointVLA: Injecting the 3D World into Vision-Language-Action Models

Chengmeng Li, Junjie Wen, Yan Peng, Yaxin Peng, Feifei Feng, Yichen Zhu

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract)；分类 cs.RO、cs.CV、cs.LG

Improving Vision-Language-Action Model with Online Reinforcement Learning

Yanjiang Guo, Jianke Zhang, Xiaoyu Chen, Xiang Ji, Yen-Jen Wang, Yucheng Hu, Jianyu Chen

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract)；分类 cs.RO、cs.CV、cs.LG

Comments Accepted to ICRA 2025

SOLAMI: Social Vision-Language-Action Modeling for Immersive Interaction with 3D Autonomous Characters

Jianping Jiang, Weiye Xiao, Zhengyu Lin, Huaizhong Zhang, Tianxiang Ren, Yang Gao, Zhiqian Lin, Zhongang Cai, Lei Yang, Ziwei Liu

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract)；分类 cs.CV、cs.AI、cs.LG

UniLACT: Depth-Aware RGB Latent Action Learning for Vision-Language-Action Models

UniLACT：基于深度的RGB潜在动作学习用于视觉-语言-动作模型

Manish Kumar Govind, Dominick Reilly, Pu Wang, Srijan Das

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract,comments)；分类 cs.RO、cs.CV

AI总结 UniLACT通过引入深度感知的潜在预训练，提升视觉-语言-动作模型的空间先验能力，实验表明其在模拟和现实任务中优于基于RGB的潜在动作方法。

Comments https://manishgovind.github.io/unilact-vla/

3D CAVLA: Leveraging Depth and 3D Context to Generalize Vision Language Action Models for Unseen Tasks

3D CAVLA：利用深度和3D上下文来泛化视觉语言动作模型以应对未见任务

Vineet Bhat, Yu-Hsiang Lan, Prashanth Krishnamurthy, Ramesh Karri, Farshad Khorrami

机构 * New York University Tandon School of Engineering（纽约大学坦登工程学院） ； New York University Courant Institute of Mathematical Sciences（纽约大学库朗数学科学研究所） 纠错

专题命中 VLA模型 ：vision language action(title)；action model(title)；VLA(abstract,comments)；vision-language-action(abstract)

AI总结 本文提出3D-CAVLA框架，通过引入链式推理、深度感知和任务导向的感兴趣区域检测，提升视觉语言动作模型在未见任务中的泛化能力，实验表明其在模拟和现实任务中均表现出色。

Comments Accepted at the 1st Workshop on 3D LLM/VLA, CVPR 2025. This work has been submitted to the IEEE for possible publication

Your Vision-Language-Action Model Already Has Attention Heads For Path Deviation Detection

您的视觉-语言-动作模型已具备路径偏差检测的注意力头

Jaehwan Jeong, Evelyn Zhu, Jinying Lin, Emmanuel Jaimes, Tuan-Anh Vu, Jungseock Joo, Sangpil Kim, M. Khalid Jawed

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract,comments)；分类 cs.RO、cs.CV

AI总结 本文提出一种无需训练的异常检测框架，通过监控VLA模型中的三个注意力头实时检测路径偏差，并利用轻量级RL策略进行恢复，展示了其在物理机器人上的实际鲁棒性。

Comments Keywords: Vision-Language Action (VLA), Reinforcement Learning (RL), Navigation Path Recovery, Robot Operating System (ROS)

DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation

DynamicVLA: 一种用于动态物体操控的视觉-语言-动作模型

Haozhe Xie, Beichen Wen, Jiarui Zheng, Zhaoxi Chen, Fangzhou Hong, Haiwen Diao, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract,comments)；分类 cs.RO、cs.CV

AI总结 DynamicVLA通过整合时间推理和闭环适应，提出了一种用于动态物体操控的视觉-语言-动作模型，提升了响应速度和泛化能力。

Comments Project Page: https://www.infinitescript.com/project/dynamic-vla/ GitHub: https://github.com/hzxie/DynamicVLA

Confidence Calibration in Vision-Language-Action Models

视觉-语言-动作模型中的置信度校准

Thomas P Zollo, Richard Zemel

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract,comments)；分类 cs.RO、cs.LG

AI总结 本文提出通过提示集合和动作-wise Platt缩放技术，改进视觉-语言-动作模型的置信度校准，以提升机器人行为的可靠性和性能。

Comments 38 pages, 19 figures; additional experiments with VLA variants

F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions

Qi Lv, Weijie Kong, Hao Li, Jia Zeng, Zherui Qiu, Delin Qu, Haoming Song, Qizhi Chen, Xiang Deng, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract,comments)；分类 cs.RO、cs.CV

Comments Homepage: https://aopolin-lv.github.io/F1-VLA/

Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey

Rui Shao, Wei Li, Lingsen Zhang, Renshan Zhang, Zhiyang Liu, Ran Chen, Liqiang Nie

机构 * School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（计算机科学与技术学院，哈尔滨工业大学（深圳）） 纠错

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract,comments)；分类 cs.RO、cs.CV

Comments Project Page: https://github.com/JiuTian-VL/Large-VLM-based-VLA-for-Robotic-Manipulation

Mechanistic interpretability for steering vision-language-action models

Bear Häon, Kaylene Stocking, Ian Chuang, Claire Tomlin

专题命中 VLA模型 ：vision-language-action(title,abstract)；action model(title)；VLA(abstract,comments)；分类 cs.RO、cs.LG

Comments CoRL 2025. Project website: https://vla-mech-interp.github.io/

FlashDrive: Flash Vision-Language-Action Inference for Autonomous Driving

FlashDrive：面向自动驾驶的Flash视觉-语言-动作推理

Zekai Li, Yihao Liang, Hongfei Zhang, Jian Chen, Yesheng Liang, Zhijian Liu

机构 * Princeton（普林斯顿大学） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；分类 cs.AI

AI总结 FlashDrive通过算法-系统协同设计解决VLA推理的四个级联瓶颈，使Alpamayo 1.5-10B的端到端自动驾驶延迟降4.7倍，推理频率提升至6.6Hz，逼近实时部署。

Comments 15 pages; 8 figures

BridgeVLA++: A Data-Efficient, Generalizable, and Memory-Augmented Vision-Language-Action Framework for 3D Manipulation

BridgeVLA++：一种面向三维操作的数据高效、可泛化且内存增强的视觉-语言-动作框架

Peiyan Li, Yuze Zhu, Yixiang Chen, Qisen Ma, Yuan Xu, Jiabing Yang, He Guan, Yan Huang, Hongtao Wu, Xiao Ma, Tao Kong, Liang Wang, Tieniu Tan

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室（NLPR）） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； FiveAges ； ByteDance Seed（字节跳动种子实验室） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；分类 cs.RO

AI总结 本研究提出内存增强的三维VLA框架BridgeVLA++，通过新增时空记忆架构，在保留原模型数据效率与泛化能力的同时，提升了记忆相关操作性能，且在多任务与真实平台上验证了其有效性。

Comments This work has been submitted to the IEEE TPAMI for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

ChainVLA: Chaining Vision-Language-Action Queries through a Unified Execution State for Long-Horizon Manipulation

ChainVLA：通过统一执行状态串联视觉-语言-动作查询以实现长 horizon 操纵

Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；分类 cs.RO

AI总结 ChainVLA 是 12 亿参数的 VLA 策略，通过联合可修订的执行状态串联查询，结合进展上下文与运动尾部，在长 horizon 操纵任务中大幅提升成功率， ablation 验证了两个组件的关键作用。

Comments 13 pages (9 main + 4 appendix), 4 figures. Project page: https://muqy1818.github.io/chainvla-web/

Long-Term Memory for VLA-based Agents in Open-World Task Execution

基于VLA的智能体长期记忆在开放世界任务执行中的应用

Xu Huang, Weixin Mao, Yinhao Li, Hua Chen, Jiabao Zhao

机构 * Nanjing University（南京大学） ； LimX Dynamics（LimX 动态） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(abstract)；分类 cs.RO

AI总结 本文提出ChemBot框架，通过双层记忆和MCP服务器提升复杂化学实验中的任务执行效率与安全性。

Comments Added references

RynnBrain 1.1: Towards More Capable and Generalizable Embodied Foundation Model

RynnBrain 1.1：迈向更具能力和通用性的具身基础模型

Kehan Li, Bohan Hou, Minghao Zhu, Tianyi Zhang, Zesen Cheng, Zhikai Wang, Sicong Leng, Xin Li, Xiao Lin, Biying Yao, Minghua Zeng, Jiangpin Liu, Ronghao Dang, Jiayan Guo, Siteng Huang, Haoyu Zhao, Heng Ping, Yaxi Zhao, Tong Zhao, Kexiang Wang, Tong Lu, Shengke Xue, Jiahao Tang, Yulei Wang, Zejing Wang, Jianwei Gao, Shijian Lu, Chengju Liu, Jianfei Yang, Mingxiu Chen, Deli Zhao

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（湖畔实验室） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；embodied foundation model(title,abstract)；分类 cs.RO

AI总结 介绍RynnBrain 1.1具身基础模型家族，其经统一框架训练，相比1.0版本有改进。开发RynnBrain - VLA并部署。该模型在多方面成果显著，初始化策略表现优，联合训练提升了得分和成功率。

Comments KL,BH,MZ,TZ,ZC,ZW,SL,XL,XL,BY,MZ,JL,RD contribute equally. Project Lead: Kehan Li and Xin Li project: https://alibaba-damo-academy.github.io/RynnBrain github: https://github.com/alibaba-damo-academy/RynnBrain huggingface: https://huggingface.co/collections/Alibaba-DAMO-Academy/rynnbrain-11 modelscope: https://modelscope.cn/collections/DAMO_Academy/RynnBrain-11

A Causality-aware Infer-diagnose-refine Framework for Test-time Modality Adaptation in VLA Models

用于视觉语言动作模型测试时模态适应的因果感知推理-诊断-细化框架

Haoyu Zhang, Yuwei Wu, Jin Chen, Gao Zhi, Zhenxin Diao, Mingyang Gao, Kun Wu, Yongchun Liu, Fan Li

机构 * Beijing Institute of Technology（北京理工大学） ； AInnovation Co. Ltd.（A创新有限公司） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 VLA模型 ：VLA(title,summary_cn)；vision-language-action(abstract)；分类 cs.RO

AI总结 针对VLA模型模态融合问题，提出因果感知推理-诊断-细化框架，通过视觉观察推理、因果效应诊断及动作预测细化实现模态适应，设计因果感知动作细化器，实验验证了该框架在多VLA主干上提升整体性能的有效性。

A Motion-Aware Vector Quantization Framework with Centroid Reuse for Efficient VLA Inference

一种用于高效视觉-语言-动作推理的具有质心重用的运动感知向量量化框架

Zhuoran Song, Haozhe Jiang, Chunyu Qi, Minnan Pei, Gang Li, Xiaoyao Liang, Haibing Guan

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 VLA模型 ：VLA(title,summary_cn)；vision-language-action(abstract)；分类 cs.AI

AI总结 针对VLA模型推理延迟高问题，提出VQVLA算法-硬件协同设计框架，利用MotionVQ动态调整量化精度，采用合并质心向量量化通用矩阵乘法范式，设计加速器，实验表明其相比多种方法有显著加速且精度损失小。

Closing the Loop in Humanoid VLA: Persistent 3D Object Tokens for Verifiable Loco-Manipulation

人形机器人视觉语言动作闭环：用于可验证移动操作的持久3D对象令牌

Peng Ren, Haoyang Ge, Jiang Zhao, Cong Huang, Yukun Shi, Pei Chi, Kai Chen

机构 * BUAA（北京航空航天大学） ； DeepCybo（深灵机器人） ； ZGCI（未提及具体中文译名） 纠错

专题命中 VLA模型 ：VLA(title,summary_cn)；vision-language-action(abstract)；分类 cs.RO

AI总结 研究人形机器人视觉语言动作中对象状态差异问题，提出持久对象令牌化方法（POT）并实例化为POT-VLA，通过RGB-D观察维护3D对象记录，转换为对象令牌用于动作生成与验证，实验表明该方法提升了任务成功率。

JoyNexus: Service-Oriented Multi-Tenant Post-Training for VLA Models

JoyNexus：面向服务的视觉语言动作模型多租户训练后处理

Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai, Shuai Di, Xu Chu, Xiaotie Deng, Yicheng Gong, Junwu Xiong

机构 * Peking University（北京大学） ； Beihang University（北航） ； Beijing Institute of Technology（北京理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(title,summary_cn)；vision-language-action(abstract)；分类 cs.AI

AI总结 针对VLA模型训练后处理问题，提出JoyNexus统一服务，解耦相关服务，多租户可通过API调用，引入组批处理提高效率，经评估能减少GPU时间，提升服务利用率。

Comments 23 pages, 12 figures

Lights, Camera, Malfunction: When Illumination Robustness Leaves VLA Models Blind to Color

灯光、相机、故障：当光照鲁棒性使视觉语言动作模型对颜色视而不见时

Marino Watanabe, Takami Sato, Kentaro Yoshioka

机构 * Keio University（庆应义塾大学） 纠错

专题命中 VLA模型 ：VLA(title,summary_cn)；vision-language-action(abstract)；分类 cs.RO

AI总结 研究VLA模型在现实环境中对光照干扰的脆弱性，提出FLARE攻击框架和ChromaGuard对抗训练方法，通过实验验证ChromaGuard能有效提升模型在颜色相关任务中的成功率，保障模型在复杂环境下的性能。

Motubrain: An Advanced World Action Model for Robot Control

MotuBrain: 一种先进的世界动作模型用于机器人控制

Motubrain Team, Chendong Xiang, Fan Bao, Haitian Liu, Hengkai Tan, Hongzhe Bi, James Li, Jiabao Liu, Jingrui Pang, Kiro Jing, Louis Liu, Mengchen Cai, Rongxu Cui, Ruowen Zhao, Runqing Wang, Shuhe Huang, Yao Feng, Yinze Rong, Zeyuan Wang, Jun Zhu

机构 * MotuBrain Team（MotuBrain团队） 纠错

专题命中 VLA模型 ：action model(title,abstract)；vision-language-action(abstract,abstract_cn)；VLA(abstract,abstract_cn)；分类 cs.RO

AI总结 MotuBrain提出一种统一的世界动作模型，结合视频和动作，支持多项任务，实现高效部署和高精度控制。

ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning

ExToken：用于高效视觉-语言-动作强化微调的结构化探索

Yilun Kong, Yunpeng Qing, Guozheng Ma, Haoyu Wang, Li Shen, Zhi Hou, Dacheng Tao

机构 * Nanyang Technological University（南洋理工大学） ； ACE Robotics（ACE机器人公司） ； Zhejiang University（浙江大学） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；分类 cs.RO

AI总结 研究VLA模型强化学习中探索停滞问题，提出ExToken框架，基于离线演示导出的离散行为先验调整VLA策略进行结构化探索，通过不同令牌鼓励多样行为模式，提升了探索效率与任务性能，在多任务实验中表现良好。

Reducing Temporal Redundancy for Efficient Vision-Language-Action Inference

减少时间冗余以实现高效视觉-语言-动作推理

Yuzhou Wu, Yuxin Zheng, Muchun Niu, Yishan Yang, Tianhao Liu, hanwen kang, Jiajian Jing, Linfeng Zhang, Chuan Wen

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；分类 cs.RO

AI总结 研究针对VLA模型推理延迟高的问题，识别出时间冗余来源，提出系统级加速策略，在感知和动作生成上减少计算，经实验验证该策略能加速超2倍且保持高性能。

Comments 13pages, 7 figuers

Look Before You Leap: Distilling Tree Search into Action Evaluation for Frozen VLA Models

三思而后行：将树搜索提炼为冻结视觉语言动作模型的动作评估

Xinyi Xie, Zican Hu, Zhanyu Liu, Yicheng Dong, Wenhao Wu, Zhenhong Sun, Haoran Li, Chunlin Chen, Zhi Wang, Pichao Wang

机构 * Nanjing University（南京大学） ； Australian National University（澳大利亚国立大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Nvidia（英伟达） 纠错

专题命中 VLA模型 ：VLA(title,summary_cn)；vision-language-action(abstract)；分类 cs.RO

AI总结 研究发现视觉语言动作（VLA）模型泛化能力差的关键瓶颈在于动作评估。提出SVA框架，通过蒙特卡洛树搜索探索输出分布，将知识提炼到轻量级Q值模型，提升任务成功率，且保持泛化能力。