Princeton University（普林斯顿大学）

Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision

自蒸馏零：自我修订将二元奖励转化为密集监督

Yinghui He, Simran Kaur, Adithya Bhaskar, Yongjin Yang, Jiarui Liu, Narutatsu Ri, Liam Fowl, Abhishek Panigrahi, Danqi Chen, Sanjeev Arora

机构 * Princeton University（普林斯顿大学） ； University of Toronto（多伦多大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 提出SD-Zero方法，通过让模型同时扮演生成器和修订者，利用二元奖励生成密集的token级自监督信号，显著提升训练样本效率，在数学和代码推理任务上超越RFT、GRPO等基线。

One Token to Fool LLM-as-a-Judge

一个令牌就能欺骗LLM裁判

Yulai Zhao, Haolin Liu, Dian Yu, Sunyuan Kung, Meijia Chen, Haitao Mi, Dong Yu

机构 * Princeton University（普林斯顿大学） ； University of Virginia（弗吉尼亚大学） ； Tencent AI Lab（腾讯人工智能实验室） ； Rutgers University（罗格斯大学） 纠错

AI总结 发现基于参考的生成式奖励模型易受奖励黑客攻击，表面输入（如非词符号或通用推理开头）能持续引发假阳性奖励，提出使用截断模型输出作为对抗性负例的数据增强策略，构建鲁棒的Master奖励模型。