Johns Hopkins University（约翰斯·霍普金斯大学）

On-Policy Distillation with Best-of-N Teacher Rollout Selection

基于N最佳教师轨迹选择的在线策略蒸馏

Ke Zhang, Yunjie Tian, Dongdi Zhao, Yijiang Li, Yuanye Liu, Vishal M Patel, Di Fu

机构 * Johns Hopkins University（约翰霍普金斯大学） ； TikTok ； University of California, San Diego（加州大学圣地亚哥分校） ； Fudan University（复旦大学） 纠错

AI总结 本文提出BRTS框架，通过选择更准确且与学生行为一致的教师轨迹提升在线策略蒸馏效果，在AIME和AMC基准测试中取得显著改进。

Comments 10 pages, 5 figures

A Tale of Two Temperatures: Simple, Efficient, and Diverse Sampling from Diffusion Language Models

双温度的故事：从扩散语言模型中实现简单、高效且多样的采样

Theo X. Olausson, Metod Jazbec, Xi Wang, Armando Solar-Lezama, Christian A. Naesseth, Stephan Mandt, Eric Nalisnick

机构 * Massachusetts Institute of Technology（麻省理工学院） ； UvA-Bosch Delta Lab, University of Amsterdam（阿姆斯特丹大学UvA-Bosch Delta实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； University of California, Irvine（加州大学尔湾分校） 纠错

AI总结 本文提出通过温和的温度化方法提升扩散语言模型采样多样性，实现高效且多样化的样本生成，优于现有方法。

Comments V2: accepted as a full conference paper at COLM