OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers
OmniOpt:现代优化器的分类法、几何结构及基准测试
机构 * Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) ; Shanghai University(上海大学) ; Westlake University(西湖大学) ; Shanghai Jiao Tong University(上海交通大学) ; UCAS(中国科学技术大学) ; Zhejiang University(浙江大学) ; Southern University of Science and Technology(南方科技大学)
AI总结 针对大规模模型训练的优化器选择受多种因素制约且方法零散,介绍OmniOpt,通过五阶段元管道、规范约束线性最小化预言机等构建统一分类法和跨域基准测试,为优化器选择提供操作坐标系。
Comments Survey & benchmark preprint V1 (91 pages)