VLA / 视觉-语言-动作模型

Turning Video Models into Generalist Robot Policies

将视频模型转化为通用机器人策略

Sizhe Lester Li, Evan Kim, Xingjian Bai, Tong Zhao, Tao Pang, Max Simchowitz, Vincent Sitzmann

机构 * MIT（麻省理工学院） ； CMU（卡内基梅隆大学） ； Amazon FAR（亚马逊公司） 纠错

专题命中 机器人基础模型 ：robot foundation model(abstract)；action model(abstract)；分类 cs.RO、cs.CV、cs.AI

AI总结 提出一种解耦的视频到动作策略VERA，利用无动作视频世界模型和基于机器人雅可比矩阵的逆动力学模型，实现跨本体的零样本机器人控制。

Comments project page: https://vera.csail.mit.edu