Weight Conditioning for Smooth Optimization of Neural Networks
权重条件化以实现神经网络的平滑优化
机构 * Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学） ； Sorbonne Université, CNRS, ISIR（索邦大学，法国国家科学研究中心，ISIR）
AI总结 本文提出一种新的权重规范化技术，通过缩小权重矩阵的奇异值范围，提升矩阵条件数，从而改善梯度下降收敛性能，实验验证其在多种神经网络架构中的有效性。
Comments ECCV 2024
