Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention
低精度Transformer训练失败的原因:对Flash Attention的分析
机构 * Department of Electronic Engineering, Tsinghua University(清华大学电子工程系) ; Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心) ; State Key laboratory of Space Network and Communications(空间网络与通信国家重点实验室)
AI总结 本文首次从机制上解释了低精度下Flash Attention导致训练崩溃的原因,揭示了相似低秩表示与有偏舍入误差的恶性循环,并通过最小化修改稳定训练。
Comments ICLR 2026