Sample Complexity of Autoregressive Reasoning: Chain-of-Thought vs. End-to-End
自回归推理的样本复杂性:链式推理与端到端
机构 * Purdue University(普渡大学) ; The Hebrew University(希伯来大学) ; Technion and Google Research(技术学院和谷歌研究)
AI总结 本文研究自回归系统的学习难度,发现端到端监督下样本复杂性随生成长度T变化丰富,而链式推理监督可使样本复杂性与T无关,从而消除对生成长度的依赖。