视频大模型

EgoGenesis: Egocentric World-Action Modeling with Online Anchored Projective Memory and Action-3D RoPE

EgoGenesis：基于在线锚定投影记忆与Action-3D RoPE的自我中心世界-动作建模

Zexuan Yan, Yuzhou Wu, Yue Ma, Zonghang He, Kaibo Yin, Xiaobing Tu, Yinggui Wang, Jinkui Ren, Xiantao Zhang, Shijian Wang, Jinghong Liu, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； Tianji KernalMind Co., Ltd.（天机芯智有限公司） ； The Hong Kong University of Science and Technology（香港科技大学） ； Southeast University（东南大学） ； Renmin University of China（中国人民大学） ； The University of Tokyo（东京大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出EgoGenesis模拟器，通过在线锚定投影记忆与Action-3D RoPE合成自我中心操作视频，扩充训练数据，显著提升了真实机器人单臂、双臂任务的分布外操作成功率。

Comments project page: https://egogenesis.github.io/