Rethinking Cross-Layer Information Routing in Diffusion Transformers
重新思考扩散变换器中的跨层信息路由
机构 * Nanjing University(南京大学) ; Alibaba Group(阿里巴巴集团) ; Zhejiang University(浙江大学) ; City University of Hong Kong(香港城市大学)
AI总结 本文研究了扩散变换器中跨层信息流动的问题,通过系统性的实证分析,识别了传统残差加法的三个具体症状,并提出了扩散适应性路由(DAR)方法,以实现可学习、时间步适应和非递增的子层输出聚合,从而提升模型性能。