AMD

Pretraining large language models with MXFP4 on Native FP4 Hardware

使用MXFP4在原生FP4硬件上预训练大型语言模型

Musa Cim, Sarthak Arora, Poovaiah Palangappa, Miro Hodak, Ravi Dwivedula, Meena Arunachalam, Mahmut Taylan Kandemir

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

AI总结 研究发现FP4训练不稳定主要由梯度路径的结构微缩放误差引起，通过MXFP4量化在Transformer训练中的受控研究，揭示了FP4在Fprop和Dgrad中对收敛影响较小，而Wgrad量化导致收敛退化。