University of Oxford（牛津大学）

On-Average Stability of Multipass Preconditioned SGD and Effective Dimension

多轮预条件SGD的平均稳定性及有效维度

Simon Vary, Tyler Farghly, Ilja Kuzborskij, Patrick Rebeschini

机构 * Department of Statistics, University of Oxford（统计系，牛津大学） ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 本文研究了多轮预条件SGD的平均稳定性与有效维度的关系，提出了一种新的分析方法，揭示了预条件器选择对优化和泛化的影响，并给出了理论下界。

Comments 35 pages, 1 figure