Skill-Conditioned Gated Self-Distillation for LLM Reasoning
技能条件门控自蒸馏用于大语言模型推理
机构 * Tsinghua University(清华大学) ; Fudan University(复旦大学) ; City University of Hong Kong(香港城市大学) ; Huazhong University of Science and Technology(华中科技大学) ; University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
AI总结 提出技能条件门控自蒸馏(SGSD),通过从经验技能库中检索技能-错误对构建多教师池,并利用验证器验证教师极性,以鲁棒门控目标蒸馏信息性师生差异,在弱先验信息假设下提升数学推理性能。