Trust Region On-Policy Distillation
信任区域在线策略蒸馏
机构 * Samsung Research(三星研究院) ; University of Oxford(牛津大学) ; Peking University(北京大学)
专题命中 代码生成 :code generation(abstract);分类 cs.CL、cs.LG
AI总结 提出信任区域在线策略蒸馏(TrOPD),通过信用分配策略和信任区域学习解决师生分布差异导致的训练不稳定问题,在数学推理、代码生成和通用基准上超越现有方法。