Reference Traces for Auditing Invisible Weight Updates and Guiding Exact-Budget Protection
无声冻结:预测低精度训练何时停止学习
机构 * University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 研究低精度训练中权重更新低于半ULP时坐标冻结问题,通过高精度轨迹和目标尾数长度预测冻结,以小型GPT、GPT - 2变压器等为例展示结果,还表明随机舍入可消除冻结,此条件在多种模型适用。