Harvard University（哈佛大学）

Bridging Compute- and Data-Optimal Pretraining

弥合计算最优和数据最优预训练之间的差距

Tian Qin, Kimia Hamidieh, David Alvarez-Melis

机构 * Harvard University（哈佛大学） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

AI总结 研究针对计算增长快于高质量数据可用性的问题，提出计算-数据（CD）缩放定律框架，通过引入令牌有效性函数η拟合数据扩展策略，划分训练操作模式，指出经典计算最优分配在多数实际设置下次优。