VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders
VideoRAE:通过表示自动编码器驯服用于生成建模的视频基础模型
发表机构 * The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Huazhong University of Science and Technology(华中科技大学) ; Shenzhen Loop Area Institute(深圳环宇研究院) ; University of Science and Technology of China(中国科学技术大学)
AI总结 研究视频生成模型潜在空间问题,提出VideoRAE,利用冻结视频基础编码器特征经1D自注意力投影仪压缩,支持多种潜在空间,通过多码本高维量化等实现强大重建,收敛快,验证了冻结VFM表示的有效性。
Comments Home page: https://zhxie0117.github.io/VideoRAE