Second-Order Optimization for Non-Convex Machine Learning: An Empirical Study
非凸机器学习中的二阶优化:一项实证研究
机构 * Institute for Computational and Mathematical Engineering, Stanford University(计算与数学工程研究所,斯坦福大学) ; School of Mathematics and Physics, University of Queensland(数学与物理学院,昆士兰大学) ; International Computer Science Institute, Berkeley, USA(国际计算机科学研究所,伯克利,美国) ; International Computer Science Institute and Department of Statistics, University of California at Berkeley(国际计算机科学研究所和统计学系,加州大学伯克利分校)
AI总结 本文通过实证研究评估了非凸机器学习问题中牛顿型方法的性能,证明其在泛化性能和超参数鲁棒性方面优于传统SGD,能有效逃离平坦区域和鞍点。
Comments 21 pages, 11 figures. Restructure the paper and add experiments