Pretraining with Token-Level Adaptive Latent Chain-of-Thought
基于令牌级适应性潜在链式思维的预训练
机构 * LUMIA Lab(LUMIA实验室) ; School of Artificial Intelligence(人工智能学院) ; Shanghai Jiao Tong University(上海交通大学) ; Shanghai Al Laboratory(上海Al实验室) ; Sun Yat-sen University(中山大学) ; Shanghai Innovation Institute(上海创新研究院)
专题命中 其他推理 :chain-of-thought(title,abstract);CoT(abstract);分类 cs.CL
AI总结 本研究提出了一种基于令牌级适应性潜在链式思维的预训练方法,通过内部化潜在链式思维来提高模型性能,减少计算成本,并在语言建模和下游任务中取得显著改进。
Comments 15pages