Technion - Israel Institute of Technology（以色列理工学院）

Truncate Bad, Upweight Good: BoN-Style Distillation via Rank-Based Classification

截断不良项，提升优良项：基于排名分类的BoN式知识蒸馏

Yarin Bar, Yaniv Romano

机构 * Technion–Israel Institute of Technology（以色列理工学院） 纠错

AI总结 该研究提出TUP策略，通过截断低排名候选、重加权高排名项实现BoN式蒸馏，在离线对齐任务中表现与强基线相当。