The University of Hong Kong（香港大学）

Optimal Rates for Generalization of Gradient Descent Methods with Deep Neural Networks

深度神经网络梯度下降方法的泛化最优速率

Junyu Zhou, Puyu Wang, Yunwen Lei, Yiming Ying, Ding-Xuan Zhou

机构 * Mathematical Institute for Machine Learning and Data Science, KU Eichstätt-Ingolstadt（机器学习与数据科学数学研究所，埃施特哈特-英戈尔施塔特大学） ； Department of Computer Science, RPTU Kaiserslautern-Landau（计算机科学系，凯撒斯劳滕-兰道大学） ； Department of Mathematics, University of Hong Kong（数学系，香港大学） ； School of Mathematics and Statistics, University of Sydney（数学与统计学学院，悉尼大学） 纠错

AI总结 本文针对深度ReLU网络，在神经正切核（NTK）机制下，首次建立了梯度下降（GD）和随机梯度下降（SGD）的极小化最优泛化误差速率，证明宽度足够时可达核方法的最优速率。

Comments 39 pages, 1 table