Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers
用于高效扩散变压器的可训练对数线性稀疏注意力
机构 * S-Lab, Nanyang Technological University(南洋理工大学S实验室) ; Wangxuan Institute of Computer Technology, Peking University(北京大学王萱计算机技术研究所)
专题命中 扩散模型 :diffusion(title,abstract);image generation(abstract);分类 cs.CV
AI总结 研究针对扩散变压器二次自注意力成本限制长序列扩展问题,提出可训练的对数线性稀疏注意力机制LLSA,通过分层结构降低成本,经实验验证其能加速注意力推理和DiT训练,为高效训练长序列DiTs提供方向。
Comments Code is available at: https://github.com/SingleZombie/LLSA