SpanNorm: Reconciling Training Stability and Performance in Deep Transformers
SpanNorm: 在深度Transformer中协调训练稳定性与性能
机构 * Meituan Inc.(美团公司) ; NLP Lab, School of Computer Science and Engineering(自然语言处理实验室,计算机科学与工程学院) ; Northeastern University, Shenyang, China(东北大学,沈阳,中国)
专题命中 知识编辑与模型理解 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出SpanNorm技术,通过结合前归一化和后归一化的优势,解决深度Transformer中训练稳定性与性能之间的根本性权衡问题,理论分析和实验结果表明其在密集和专家混合(MoE)场景中均优于传统归一化方案。
Comments Accepted by ICML2026