Self-Supervised Learning of Structured Dynamics from Videos
从视频中进行结构化动力学的自监督学习
机构 * Fundamental AI Lab, UTN(基础人工智能实验室,UTN) ; VGG, University of Oxford(VGG,牛津大学)
AI总结 研究能否从预训练图像视觉Transformer的冻结特征中恢复结构化运动表示,提出结构化动力学模型(SDM),通过未来特征预测分离动力学来源,结合自监督与弱监督训练,在新评估套件上表现出色,证明预训练图像模型可用于结构化视频动力学表示。
Comments preprint, Project page: https://lukasknobel.github.io/projects/StructuredDynamics