Yoshua Bengio

Revisiting Natural Gradient for Deep Networks

重新审视深度网络的自然梯度

Razvan Pascanu, Yoshua Bengio

AI总结 本文重新评估了自然梯度算法在深度模型学习中的应用，揭示了其与Hessian-Free、Krylov子空间下降和TONGA方法的联系，并提出了利用无标签数据改进泛化误差、评估对训练集顺序的鲁棒性以及结合二阶信息的扩展算法。