Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations
优化方法的演变:算法、场景与评估
机构 * Zhejiang University(浙江大学) ; APRIL Lab(APRIL实验室) ; Fudan University(复旦大学) ; Shanghai Jiaotong University(上海交通大学) ; National University of Singapore(新加坡国立大学)
AI总结 本文回顾了深度学习优化算法的演变历程,通过广泛实验评估主流优化器在不同模型架构和训练场景中的表现,揭示了新兴趋势与核心设计权衡,为未来高效、可靠优化方法的设计提供指导。