What do Language Models Learn and When? The Implicit Curriculum Hypothesis
语言模型学习了什么以及何时?隐式课程假说
机构 * Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所) ; Department of Computer Science, Data Science and AI Institute, Johns Hopkins University(约翰霍普金斯大学计算机科学系、数据科学与人工智能研究所) ; Khoury College of Computer Science, Northeastern University(东北大学Khoury计算机科学学院) ; Department of Computer Science, University of Southern California(南加州大学计算机科学系)
AI总结 研究通过设计简单可组合任务,发现模型技能以可组合顺序出现,且在不同模型间一致,表明预训练过程具有结构性。