Generalization at the Edge of Stability
在稳定性边缘的泛化
机构 * INRIA, CNRS, Département d’Informatique de l’Ecole Normale Supérieure / PSL, France(法国国家信息与自动化技术研究院(INRIA)、法国国家科学研究中心(CNRS)、巴黎综合理工学院计算机系 / PSL研究院) ; Department of Computing, Imperial College London, United Kingdom(伦敦帝国理工学院计算机系,英国)
AI总结 本文研究了在稳定性边缘训练神经网络的泛化机制,引入了'尖锐度维度'并证明了基于该维度的泛化界,揭示了混沌 regime 中泛化依赖于Hessian谱和部分行列式结构。
Comments Project page: https://circle-group.github.io/research/GATES