Mismatch Matters: On-Policy Distillation Beyond Token Agreement
失配很重要:超越token一致性的在线蒸馏
机构 * The University of Hong Kong(香港大学) ; University of Science and Technology of China(中国科学技术大学) ; The Chinese University of Hong Kong(香港中文大学)
AI总结 本文针对在线蒸馏存在的退化一致性失效问题,提出TIDE方法修正师生失配,在数学推理基准上显著提升性能、缩短响应长度并减少格式错误。