Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws
快速追上,后期切换:通过函数缩放定律进行最优批量大小调度
机构 * School of Mathematical Sciences, Peking University(北京大学数学科学学院) ; Center for Machine Learning Research, Peking University(北京大学机器学习研究中心) ; School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院) ; State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(中国科学技术大学认知智能国家重点实验室) ; Meituan, Beijing(美团(北京)) ; AI for Science Institute, Beijing(北京人工智能科学研究院)
AI总结 本文通过函数缩放定律揭示了大规模深度学习中最优批量大小调度的理论机制,表明在困难任务中后期切换大批次可提升效率并减少数据消耗。
Comments 34 pages, accepted by ICLR 2026 as a conference paper