Joint Affine Spectral Shaping: Coupling Weight and Bias Updates Beyond Weight-Only Muon
联合仿射谱塑形:超越仅权重Muon的权重与偏置更新耦合
机构 * Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
AI总结 该研究针对IMDb数据集训练BERT-mini,对比不同谱优化方法,提出的联合正则化逆方法可提升测试准确率、降低损失,是仅权重谱优化的小幅但一致的扩展。