HeadCast: Casting Attention Heads for Efficient Autoregressive Video Generation
HeadCast:为高效自回归视频生成分配注意力头
机构 * KlingAI Research(克林人工智能研究公司)
专题命中 视频扩散模型 :video generation(title);video diffusion(abstract);分类 cs.CV
AI总结 研究针对自回归视频扩散模型注意力成本高的问题,提出HeadCast框架,基于预训练模型注意力头行为进行一次性分类,重组KV缓存,保留全局头,在不同分辨率下有效加速推理且保持质量,减少闪烁。