VLA / 视觉-语言-动作模型

Pelican-Unify 1.0: A Unified Embodied Intelligence Model for Understanding, Reasoning, Imagination and Action

Pelican-Unify 1.0：一种用于理解和推理、想象和行动的统一具身智能模型

Yi Zhang, Yinda Chen, Che Liu, Zeyuan Ding, Jin Xu, Shilong Zou, Junwei Liao, Jiayu Hu, Xiancong Ren, Xiaopeng Zhang, Yechi Liu, Haoyuan Shi, Zecong Tang, Haosong Sun, Renwen Cui, Kuishu Wu, Wenhai Liu, Yang Xu, Yingji Zhang, Yidong Wang, Senkang Hu, Jinpeng Lu, Nga Teng Chan, Yechen Wu, Zeting Liu, Xianzhou Hou, Yong Dai, Jian Tang, Xiaozhu Ju

机构 * Beijing Innovation Center of Humanoid Robotics (X-Humanoid)（北京人形机器人创新中心（X-Humanoid）） 纠错

专题命中 机器人基础模型 ：embodied foundation model(abstract)；分类 cs.RO、cs.AI

AI总结 本文提出Pelican-Unify 1.0，一种基于统一原则训练的首个具身基础模型，通过单一视觉语言模型作为统一理解模块，将场景、指令、视觉上下文和行动历史映射到共享语义空间，并通过统一推理模块生成任务、行动和未来导向的思维链，最终将隐藏状态投影到密集潜在变量中，再通过统一未来生成器生成未来视频和行动。