University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

Codifying the Judge: Scalable Evaluation via Program Distillation

将评判器编码：通过程序蒸馏实现可扩展评估

Tzu-Heng Huang, Shengqi Qiu, Frederic Sala

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 研究针对基于语言模型的评判器成本高、延迟大等问题，提出用程序蒸馏方法，将其决策逻辑提炼成程序委员会。引入PAJAMA系统，实验显示程序评判器性能可匹配大语言模型，还能提高准确率和吞吐量，产生廉价有效奖励信号。

CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference

CSV-Decode: 可证的子词汇解码以实现高效的大型语言模型推理

Dong Liu, Shu Wang, Yanxuan Yu, Haisheng Wang, Ben Lengerich

机构 * Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； College of Engineering, Columbia University（哥伦比亚大学工程学院） ； Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计学系） 纠错

AI总结 CSV-Decode通过构建子词汇表实现高效的大语言模型推理，提供精确的top-k认证和ε-认证的softmax近似，显著提升速度并保持分布保证。