The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training
FP4量化LLM训练中均值偏差的诅咒与祝福
机构 * Fudan University(复旦大学) ; University of Bath(巴斯大学) ; Shanghai Innovation Institute(上海创新研究院) ; University of Oxford(牛津大学) ; Oxford Suzhou Centre for Advanced Research(牛津苏浙研究中心) ; University of Colorado Boulder(科罗拉多大学波德格分校) ; University of Michigan(密歇根大学) ; Shenzhen Loop Area Institute(深圳河套学院)
AI总结 发现FP4训练失败源于激活异常值由秩一均值偏差主导,提出Averis均值残差分离量化法,在Qwen3模型上实现鲁棒W4A4G4训练,损失差距低于NVIDIA的Hadamard方法。