Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?
为什么自蒸馏(有时)会降低大语言模型的推理能力?
机构 * Microsoft Research(微软研究院) ; KAIST(韩国成均馆大学) ; Seoul National University(首尔国立大学)
专题命中 数学推理 :reasoning(title,abstract);分类 cs.CL、cs.LG
AI总结 本文研究了自蒸馏在数学推理中降低大语言模型推理能力的原因,发现其通过抑制模型在推理过程中的不确定性表达,导致在未见过的问题上表现下降,强调了适当表达不确定性对鲁棒推理的重要性。
Comments Accepted to COLM 2026. Code is available at this https URL (https://github.com/beanie00/self-distillation-analysis)