Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima
Fisher-几何锐度与SGD对平坦极小值的隐式偏好
机构 * Gauhati University(高哈蒂大学)
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.LG
AI总结 针对SGD偏好平坦极小值但欧氏锐度不具重参数化不变性的问题,提出基于Fisher信息矩阵的黎曼锐度,证明其不变性,并导出SGD稳态分布集中于平坦极小值,PAC-Bayes界联系泛化性能。
Comments 18 pages, 5 figures, preprint