Xiaohongshu（小红书）

From Generic Correlation to Input-Specific Credit in On-Policy Self Distillation

从通用相关性到输入特定的信用在在线自我蒸馏中

Guobin Shen, Lei Huang, Xiang Cheng, Chenxiao Zhao, Jindong Li, Dongcheng Zhao, Xing Yu

机构 * Xiaohongshu Inc.（小红书公司） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

AI总结 本文研究在线自我蒸馏中奖励的测量与信用分配，提出CREDIT方法通过对比学习分离输入特定成分，提升模型在多个基准上的性能。

Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information

反自我蒸馏用于通过点互信息的推理强化学习

Guobin Shen, Xiang Cheng, Chenxiao Zhao, Lei Huang, Jindong Li, Dongcheng Zhao, Xing Yu

机构 * Xiaohongshu Inc.（小红书公司） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

AI总结 本文提出反自我蒸馏方法，通过分析点互信息解决自我蒸馏在数学推理中的不一致问题，提升模型推理能力。