H$^2$SD: Hybrid Hindsight Self-Distillation
H$^2$SD:混合事后自蒸馏
机构 * Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) ; Harbin Institute of Technology(哈尔滨工业大学) ; Fudan University(复旦大学) ; The Chinese University of Hong Kong(香港中文大学)
AI总结 研究针对强化学习中奖励监督问题,提出 H$^2$SD 混合事后自蒸馏框架。成功轨迹用教师概率调更新幅度,失败轨迹基于参考提示调整教师并最小化反向 KL 散度,实验表明该框架优于基线,能稳定优化且效率良好。