A Unified Analysis of AdaGrad with Weighted Aggregation and Momentum Acceleration
AdaGrad的统一分析:带加权聚合和动量加速
机构 * JD Explore Academy, Beijing, China(京东探索研究院,北京,中国) ; Facebook, USA(Facebook,美国) ; Meituan, Beijing, China(美团,北京,中国) ; University of Minnesota, Twin Cities, USA(明尼苏达大学双城分校,美国) ; Tencent, Shenzhen, China(腾讯,深圳,中国)
AI总结 本文提出了一种名为AdaUSM的加权AdaGrad算法,通过统一动量方案和新型加权自适应学习率,实现了在非凸随机设置下的O(√(log(T)/T))收敛率,并从新视角解释了Adam和RMSProp的自适应学习率。
Comments IEEE TNNLS