Georgia Institute of Technology（佐治亚理工学院）

Dual-Flow Transformers: Decoupling the Primary Prefill Path from Additional Decode Computation

双流式Transformer：将主预填路径与额外解码计算解耦

Liming Liu, Mingze Wang, Tuo Zhao

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Peking University（北京大学） 纠错

AI总结 该研究提出双流式Transformer，将主预填路径与额外解码计算解耦，通过共享权重与缓存降低推理成本，在多架构与数据配置下实现更低验证损失，且可灵活分配MoE专家预算。

Comments 18 pages