University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction

通过偏差减少改进随机梯度下降中的协方差矩阵估计

Ziyang Wei, Wanrong Zhu, Jingyang Lyu, Wei Biao Wu

机构 * Department of Statistics（统计系） ； University of Chicago（芝加哥大学） ； University of California, Irvine（加州大学尔湾分校） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 本文提出一种全新的在线去偏差协方差估计器，无需二阶导数即可显著提升估计精度，收敛速度为n^{(α-1)/2}√logn，优于现有无Hessian方法。