Optimal Rates for Generalization of Gradient Descent Methods with Deep Neural Networks
深度神经网络梯度下降方法的泛化最优速率
机构 * Mathematical Institute for Machine Learning and Data Science, KU Eichstätt-Ingolstadt(机器学习与数据科学数学研究所,埃施特哈特-英戈尔施塔特大学) ; Department of Computer Science, RPTU Kaiserslautern-Landau(计算机科学系,凯撒斯劳滕-兰道大学) ; Department of Mathematics, University of Hong Kong(数学系,香港大学) ; School of Mathematics and Statistics, University of Sydney(数学与统计学学院,悉尼大学)
AI总结 本文针对深度ReLU网络,在神经正切核(NTK)机制下,首次建立了梯度下降(GD)和随机梯度下降(SGD)的极小化最优泛化误差速率,证明宽度足够时可达核方法的最优速率。
Comments 39 pages, 1 table