University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

Codifying the Judge: Scalable Evaluation via Program Distillation

将评判器编码：通过程序蒸馏实现可扩展评估

Tzu-Heng Huang, Shengqi Qiu, Frederic Sala

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 研究针对基于语言模型的评判器成本高、延迟大等问题，提出用程序蒸馏方法，将其决策逻辑提炼成程序委员会。引入PAJAMA系统，实验显示程序评判器性能可匹配大语言模型，还能提高准确率和吞吐量，产生廉价有效奖励信号。