Progressive Residual Warmup for Language Model Pretraining
逐步残差预热用于语言模型预训练
机构 * The Hong Kong University of Science(香港科学与技术大学) ; NVIDIA, Santa Clara, US(NVIDIA公司) ; The University of Hong Kong, Hong Kong, China(香港大学) ; University of Surrey, Guildford, UK(萨里大学)
AI总结 ProRes通过逐步残差预热方法提升语言模型预训练的稳定性与收敛速度,实现更快的收敛和更好的性能