PC Layer: Polynomial Weight Preconditioning for Improving LLM Pre-Training
PC层:通过多项式权重预处理改进大语言模型预训练
机构 * The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Google LLC(谷歌公司) ; Shenzhen International Center for Industrial and Applied Mathematics(深圳国际工业与应用数学中心) ; Shenzhen Research Institute of Big Data(深圳大数据研究院) ; University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 提出一种多项式预条件子权重参数化方法(PC层),通过低阶多项式预条件重塑权重矩阵奇异值谱,确保LLM训练中权重条件稳定,且训练后无推理开销,在Llama-1B预训练中优于标准Transformer。