Finding the Evidence: Discovering Decision-Supporting Tokens for On-Policy Reasoning Distillation
寻找证据:发现决策支持令牌以进行在线策略推理蒸馏
机构 * Meituan Longcat Team(美团Longcat团队) ; Nanjing University(南京大学) ; TJUNLP Lab, College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部TJUNLP实验室)
AI总结 提出DEAR方法,通过学生熵识别决策点,利用隐状态余弦相似性和师生差异发现证据令牌,在数学和代码基准上提升推理蒸馏效果。