VLA / 视觉-语言-动作模型

Bridging Language and Action: A Survey of Language-Conditioned Robot Manipulation

连接语言与行动：语言引导的机器人操作综述

Xiangtong Yao, Hongkuan Zhou, Oier Mees, Yuan Meng, Ted Xiao, Yonatan Bisk, Jean Oh, Edward Johns, Mohit Shridhar, Dhruv Shah, Jesse Thomason, Kai Huang, Joyce Chai, Zhenshan Bing, Alois Knoll

机构 * Technical University of Munich（慕尼黑技术大学） ； Corporate Research, Robert Bosch GmbH（罗伯特·博世集团企业研究部） ； University of California Berkeley（加州大学伯克利分校） ； Microsoft（微软） ； Google DeepMind（谷歌DeepMind） ； Carnegie Mellon University（卡内基梅隆大学） ； Imperial College London（伦敦帝国理工学院） ； Princeton University（普林斯顿大学） ； University of Southern California（南加州大学） ； Sun Yat-sen University（中山大学） ； University of Michigan（密歇根大学） ； Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究所） ； The State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） 纠错

专题命中 语言条件控制 ：language-conditioned robot(title,abstract)；vision-language-action(abstract)；action model(abstract)；分类 cs.RO

AI总结 本文综述了语言引导的机器人操作领域，探讨了语言如何与机器人系统整合，分析了现有方法的分类及最新进展，指出关键争议和未来研究方向。

VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks

Shiduo Zhang, Zhe Xu, Peiju Liu, Xiaopeng Yu, Yuan Li, Qinghui Gao, Zhaoye Fei, Zhangyue Yin, Zuxuan Wu, Yu-Gang Jiang, Xipeng Qiu

专题命中 语言条件控制 ：language-conditioned robot(title)；vision-language-action(abstract)；action model(abstract)；分类 cs.RO、cs.CV、cs.AI

LILAC: Language-Conditioned Object-Centric Optical Flow for Open-Loop Trajectory Generation

LILAC：基于语言的物体中心光学流用于开环轨迹生成

Motonari Kambara, Koki Seno, Tomoya Kaichi, Yanan Wang, Komei Sugiura

机构 * Keio University（庆应义塾大学） ； KDDI Research Inc.（KDDI研究所） 纠错

专题命中 语言条件控制 ：vision-language-action(abstract)；VLA(abstract)；action model(abstract)；language-conditioned robot(abstract)

AI总结 本文提出LILAC模型，通过结合视觉与语言信息生成物体中心光学流，并转化为6自由度机械臂轨迹，实验显示其在多个基准和实际物体操作中表现更优。

Comments Accepted to IEEE RA-L

Language-Conditioned Robotic Manipulation with Fast and Slow Thinking

Minjie Zhu, Yichen Zhu, Jinming Li, Junjie Wen, Zhiyuan Xu, Zhengping Che, Chaomin Shen, Yaxin Peng, Dong Liu, Feifei Feng, Jian Tang

专题命中 语言条件控制 ：language-conditioned robot(title,abstract)；分类 cs.RO、cs.CV

Comments accepted to ICRA2024

Video-Language Critic: Transferable Reward Functions for Language-Conditioned Robotics

Minttu Alakuijala, Reginald McLean, Isaac Woungang, Nariman Farsad, Samuel Kaski, Pekka Marttinen, Kai Yuan

机构 * Department of Computer Science, Aalto University（艾尔沃斯大学计算机科学系） ； Department of Computer Science, Toronto Metropolitan University（多伦多 Metropolitan 大学计算机科学系） ； Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； Intel Corporation（英特尔公司） 纠错

专题命中 语言条件控制 ：language-conditioned robot(title)；分类 cs.RO、cs.CV、cs.AI

Comments 14 pages in the main text, 22 pages including references and supplementary materials. 3 figures and 3 tables in the main text, 6 figures and 3 tables in supplementary materials

Journal ref Transactions on Machine Learning Research (TMLR) (02/2025)

DINO-CVA: A Multimodal Goal-Conditioned Vision-to-Action Model for Autonomous Catheter Navigation

Pedram Fekri, Majid Roshanfar, Samuel Barbeau, Seyedfarzad Famouri, Thomas Looi, Dale Podolsky, Mehrdad Zadeh, Javad Dargahi

机构 * Gina Cody School of Engineering and Computer Science, Concordia University（甘娜·柯迪工程与计算机科学学院，康科迪亚大学） ； The Wilfred and Joyce Posluns Centre for Image Guided Innovation & Therapeutic Intervention (PCIGITI) at the Hospital for Sick Children (SickKids)（威廉与乔伊斯·波斯卢斯影像引导创新与治疗干预中心（PCIGITI）（SickKids医院）） ； Electrical and Computer Engineering Department, Kettering University（电气与计算机工程系，凯特林大学） 纠错

专题命中 语言条件控制 ：action model(title)；分类 cs.RO、cs.CV、cs.AI

Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation

Suraj Nair, Eric Mitchell, Kevin Chen, Brian Ichter, Silvio Savarese, Chelsea Finn

专题命中 语言条件控制 ：language-conditioned robot(title)；分类 cs.RO、cs.AI、cs.LG

Comments Conference on Robot Learning (CoRL) 2021. 24 Pages, 18 Figures

Lifelong Language-Conditioned Robotic Manipulation Learning

持续语言引导的机器人操作学习

Xudong Wang, Zebin Han, Zhiyu Liu, Gan Li, Jiahua Dong, Baichen Liu, Lianqing Liu, Zhi Han

专题命中 语言条件控制 ：language-conditioned robot(title)；分类 cs.RO、cs.AI

AI总结 本文提出SkillsCrafter框架，通过操作技能适应和技能专业化聚合，实现持续学习多种技能并减少旧技能的灾难性遗忘。

Comments 14 pages, 7 figures

Vega: Learning to Drive with Natural Language Instructions

Vega：通过自然语言指令学习驾驶

Sicheng Zuo, Yuxuan Li, Wenzhao Zheng, Zheng Zhu, Jie Zhou, Jiwen Lu

机构 * Tsinghua University（清华大学） ； GigaAI 纠错

专题命中 语言条件控制 ：vision-language-action(abstract)；action model(abstract)；分类 cs.RO、cs.CV、cs.AI

AI总结 本文提出Vega模型，通过自然语言指令生成和规划，提升自动驾驶的灵活性和个性化水平，基于大规模驾驶数据集InstructScene进行实验验证。

Comments Code is available at https://github.com/zuosc19/Vega

ReSiReg: Towards Spatially Consistent Semantics in Language-Conditioned Robotic Tasks

ReSiReg：面向语言条件机器人任务的空间一致语义

Simon Schwaiger, David Seyser, Alessandro Scherl, Wilfried Wöber, Gerald Steinbauer-Wagner

机构 * Graz University of Technology, Institute of Software Engineering and Artificial Intelligence（格拉茨技术大学，软件工程与人工智能研究所） ； University of Applied Sciences Technikum Wien, Department of Industrial Engineering（维也纳应用科技大学，工业工程系） ； University of Alicante, Department of Computer Technology（阿利坎特大学，计算机技术系） ； University of Natural Resources and Life Sciences, Institute for Integrative Nature Conservation Research（自然资源与生命科学大学，整合自然保护研究 institute） 纠错

专题命中 语言条件控制 ：language-conditioned robot(title)；分类 cs.RO

AI总结 提出ReSiReg方法，通过重构空间一致的VLM中间特征，改善密集语言接地检索，在OVSS和3D映射中提升空间一致性，并发布紧凑的25M参数VLM模型。

Grounding Object Relations in Language-Conditioned Robotic Manipulation with Semantic-Spatial Reasoning

Qian Luo, Yunfei Li, Yi Wu

专题命中 语言条件控制 ：language-conditioned robot(title)；分类 cs.RO

Comments AAAI 2023 RL Ready for Production Workshop

Astra: Efficient Transformer Architecture and Contrastive Dynamics Learning for Embodied Instruction Following

Astra：面向具身指令跟随的高效Transformer架构与对比动态学习

Yueen Ma, Dafeng Chi, Shiguang Wu, Yuecheng Liu, Yuzheng Zhuang, Irwin King

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 语言条件控制 ：vision-language-action(abstract)；action model(abstract)；分类 cs.RO

AI总结 Astra通过引入轨迹注意力和对比动态学习目标，提升了具身指令跟随任务中多模态序列处理的效率与准确性。

Comments Accepted to EMNLP 2025 (main). Published version: https://aclanthology.org/2025.emnlp-main.688/ Code available at: https://github.com/yueen-ma/Astra

Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents

Wenlong Huang, Fei Xia, Dhruv Shah, Danny Driess, Andy Zeng, Yao Lu, Pete Florence, Igor Mordatch, Sergey Levine, Karol Hausman, Brian Ichter

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO、cs.CV、cs.AI

Grounding Language with Visual Affordances over Unstructured Data

Oier Mees, Jessica Borja-Diaz, Wolfram Burgard

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO、cs.CV、cs.AI

Comments Accepted at the 2023 IEEE International Conference on Robotics and Automation (ICRA). Project website: http://hulc2.cs.uni-freiburg.de

Rethinking the Intermediate Features in Adversarial Attacks: Misleading Robotic Models via Adversarial Distillation

Ke Zhao, Huayang Huang, Miao Li, Yu Wu

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO、cs.AI、cs.LG

PGA: Personalizing Grasping Agents with Single Human-Robot Interaction

Junghyun Kim, Gi-Cheon Kang, Jaein Kim, Seoyun Yang, Minjoon Jung, Byoung-Tak Zhang

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO、cs.CV、cs.LG

Comments 8 pages, under review

CoFL-S: Spatially Queryable Sector Flow Fields for Local Language-Conditioned Navigation

CoFL-S: 用于局部语言条件导航的空间可查询扇区流场

Haokun Liu, Zhaoqi Ma, Yicheng Chen, Wentao Zhang, Masaki Kitagawa, Zicen Xiong, Jinjie Li, Moju Zhao

机构 * Dragon Lab, Department of Mechanical Engineering, The University of Tokyo（龙实验室，机械工程系，东京大学） 纠错

专题命中 语言条件控制 ：vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 提出CoFL-S，一种低层级视觉-语言-动作框架，通过预测机器人局部可见扇区上的语言条件流场并滚动生成连续轨迹，在连续时间Habitat基准测试中优于动作令牌和动作块基线，并实现零样本真实世界部署。

Comments 27 pages, 13 figures

AnywhereVLA: Language-Conditioned Exploration and Mobile Manipulation

Konstantin Gubernatorov, Artem Voronov, Roman Voronov, Sergei Pasynkov, Stepan Perminov, Ziang Guo, Dzmitry Tsetserukou

机构 * Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology（智能空间机器人实验室，数字工程中心，斯克尔科夫科学与技术研究所） 纠错

专题命中 语言条件控制 ：VLA(abstract)；分类 cs.RO、cs.AI

Agentic Scene Policies: Unifying Space, Semantics, and Affordances for Robot Action

Sacha Morin, Kumaraditya Gupta, Mahtab Sandhu, Charlie Gauthier, Francesco Argenziano, Kirsty Ellis, Liam Paull

机构 * Université de Montréal（蒙特利尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究院） ； Sapienza University of Rome（罗马萨皮恩扎大学） 纠错

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO、cs.CV

Comments Project page: https://montrealrobotics.ca/agentic-scene-policies.github.io/

AC-DiT: Adaptive Coordination Diffusion Transformer for Mobile Manipulation

Sixiang Chen, Jiaming Liu, Siyuan Qian, Han Jiang, Lily Li, Renrui Zhang, Zhuoyang Liu, Chenyang Gu, Chengkai Hou, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） ； Nanjing University（南京大学） ； CUHK（香港中文大学） ； Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） 纠错

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO、cs.AI

Comments Project website: https://ac-dit.github.io/

ManiGaussian: Dynamic Gaussian Splatting for Multi-task Robotic Manipulation

Guanxing Lu, Shiyi Zhang, Ziwei Wang, Changliu Liu, Jiwen Lu, Yansong Tang

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO、cs.CV

Comments https://guanxinglu.github.io/ManiGaussian/

LoHoRavens: A Long-Horizon Language-Conditioned Benchmark for Robotic Tabletop Manipulation

Shengqiang Zhang, Philipp Wicke, Lütfi Kerem Şenel, Luis Figueredo, Abdeldjallil Naceri, Sami Haddadin, Barbara Plank, Hinrich Schütze

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO、cs.CV

Comments 6 pages, 4 figures. The video and code of LoHoRavens are available at https://cisnlp.github.io/lohoravens-webpage/

Language-Conditioned Change-point Detection to Identify Sub-Tasks in Robotics Domains

Divyanshu Raj, Chitta Baral, Nakul Gopalan

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO、cs.AI

Comments 9 Pages, 13 figures, Accepted paper at the RSS 2023 Workshop on Articulate Robots: Utilizing Language for Robot Learning

Forecast-aware Gaussian Splatting for Predictive 3D Representation in Language-Guided Pick-and-Place Manipulation

面向预测的高斯点散布用于语言引导的抓取与放置操作中的预测3D表示

Kaixin Jia, Jiacheng Xu

机构 * KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO

AI总结 本文提出Forecast-GS框架，通过预测3D状态提升语言引导的机器人操作性能，实验显示其在抓取与放置任务中优于基线方法，表明明确预测任务完成状态有助于更可靠的行动评估。

NL2SpaTiaL: Generating Geometric Spatio-Temporal Logic Specifications from Natural Language for Manipulation Tasks

NL2SpaTiaL: 从自然语言生成几何时空逻辑规范用于操作任务

Licheng Luo, Kaier Liang, Yu Xia, Mingyu Cai

机构 * University of California, Riverside（加州大学河滨分校） ； Lehigh University（莱恩大学） 纠错

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO

AI总结 本文提出NL2SpaTiaL框架，通过生成层次化逻辑树实现自然语言到时空逻辑规范的高效转换，解决了传统方法在深度嵌套下的性能问题，验证了结构化方法在操作任务验证中的有效性。

Language Conditioning Improves Accuracy of Aircraft Goal Prediction in Non-Towered Airspace

语言引导提升非塔台空域飞机目标预测的准确性

Sundhar Vinodh Sangeetha, Chih-Yuan Chiu, Sarah H. Q. Li, Shreyas Kousik

机构 * Georgia Institute of Technology（佐治亚理工学院） ； School of Aerospace Engineering（航空航天工程学院） ； School of Electrical and Computer Engineering（电气与计算机工程学院） ； School of Mechanical Engineering（机械工程学院） 纠错

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO

AI总结 本文提出利用语言信息提升非塔台空域飞机目标预测准确性的多模态框架，通过整合自然语言理解和空间推理，有效提高自主决策能力。

Comments The last two authors advised equally. Accepted to the 2026 IEEE International Conference on Robotics and Automation. 8 pages, 6 figures

Learning Efficient and Robust Language-conditioned Manipulation using Textual-Visual Relevancy and Equivariant Language Mapping

Mingxi Jia, Haojie Huang, Zhewen Zhang, Chenghao Wang, Linfeng Zhao, Dian Wang, Jason Xinyu Liu, Robin Walters, Robert Platt, Stefanie Tellex

机构 * Brown University（布朗大学） ； Northeastern University（东北大学） 纠错

专题命中 语言条件控制 ：VLA(abstract)；分类 cs.RO

ZeroCAP: Zero-Shot Multi-Robot Context Aware Pattern Formation via Large Language Models

Vishnunandan L. N. Venkatesh, Byung-Cheol Min

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.RO

Empowering Large Language Models on Robotic Manipulation with Affordance Prompting

Guangran Cheng, Chuheng Zhang, Wenzhe Cai, Li Zhao, Changyin Sun, Jiang Bian

专题命中 语言条件控制 ：language-conditioned robot(abstract)；分类 cs.AI