Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum
为异步SGD带来秩序:在数据依赖延迟下趋向最优性
机构 * Technion – Israel Institute of Technology(技术学院 – 以色列理工学院)
AI总结 本文提出一种基于动量的异步框架,旨在保留延迟梯度信息并缓解滞后影响,首次在凸和非凸光滑设置中获得数据依赖延迟的最优收敛率,并提出鲁棒的学习率调度方案。