Decode-Branch Transformers: Decoupling the Primary Prefill Path from Additional Decode Computation
双流式Transformer：将主预填路径与额外解码计算解耦
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Peking University（北京大学）
AI总结 该研究提出双流式Transformer，将主预填路径与额外解码计算解耦，通过共享权重与缓存降低推理成本，在多架构与数据配置下实现更低验证损失，且可灵活分配MoE专家预算。
Comments 19 pages
