FlowWAM: Optical Flow as a Unified Action Representation for World Action Models
FlowWAM:光流作为世界动作模型的统一动作表示
机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室) ; School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) ; FiveAges(无) ; MBZUAI(无) ; Alibaba Group(阿里巴巴集团)
专题命中 动作与事件理解 :video generation(abstract);分类 cs.CV
AI总结 研究针对世界动作模型控制中动作表示难题,提出FlowWAM双流扩散框架,以光流为统一动作表示。该框架可实现WAMs两种模式,能利用无动作标签视频预训练,实验表明在操纵和世界建模任务中表现优于基线。