SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer
SALAD: 通过高效的线性注意微调实现高稀疏性注意
机构 * Tsinghua University(清华大学) ; Kling Team, Kuaishou Technology(快手科技 Kling 团队) ; The Chinese University of Hong Kong(香港中文大学)
专题命中 效率与蒸馏 :diffusion(title,abstract);分类 cs.CV
AI总结 本文提出SALAD,通过并行的稀疏注意与轻量线性注意分支,结合多级静态-动态缩放策略,实现高达90%的稀疏性和1.52-2.03倍的推理加速,同时保持生成质量。