Convergence Analysis of Newton's Method for Neural Networks in the Overparameterized Limit
神经网络过参数化极限下牛顿方法的收敛性分析
机构 * Mathematical Institute(数学研究所) ; University of Oxford(牛津大学) ; Department of Mathematics & Statistics(数学与统计学系) ; Boston University(波士顿大学)
AI总结 本文研究了在过参数化极限下,正则化牛顿方法训练神经网络的收敛性问题,通过分析牛顿神经切线核(NNTK)的特性,证明了在无限宽极限下,神经网络以指数速度收敛到目标数据,并解决了频谱偏置问题。