Timeripple: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space
Timeripple:通过理解潜在空间中的时空相关性加速视频扩散变换器
机构 * Shanghai Jiao Tong University(上海交通大学) ; Shanghai Qizhi Institute(上海启智研究院) ; Huawei Technologies Co.,Ltd(华为技术有限公司) ; Institute of Computing Technology, Chinese Academy of Science(中国科学院计算技术研究所)
专题命中 扩散模型 :diffusion(abstract);分类 cs.CV
AI总结 针对视频生成中vDiT模型推理延迟问题,利用潜在空间时空相关性,提出轻量级自适应重用策略,通过重用相关令牌部分注意力分数近似计算,相比现有技术计算节省85%,且视频质量损失小。