Columbia University（哥伦比亚大学）

SODA: Semi On-Policy Black-Box Distillation for Large Language Models

SODA：大语言模型的半在线盒式知识蒸馏

Xiwen Chen, Jingjing Wang, Wenhui Zhu, Peijie Qiu, Xuanzhao Dong, Yueyue Deng, Hejian Sang, Zhipeng Wang, Alborz Geramifard, Feng Luo

机构 * Clemson University（克莱姆森大学） ； LinkedIn（领英） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Arizona State University（亚利桑那州立大学） ； Columbia University（哥伦比亚大学） 纠错

AI总结 本文提出SODA，一种高效的半在线盒式知识蒸馏方法，通过对比教师最优响应与学生静态输出，实现高质量分布对齐，无需动态回放和对抗平衡，提升蒸馏效率和稳定性。

Comments Efficient Reasoning@COLM