University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference

CSV-Decode: 可证的子词汇解码以实现高效的大型语言模型推理

Dong Liu, Shu Wang, Yanxuan Yu, Haisheng Wang, Ben Lengerich

机构 * Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； College of Engineering, Columbia University（哥伦比亚大学工程学院） ； Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计学系） 纠错

AI总结 CSV-Decode通过构建子词汇表实现高效的大语言模型推理，提供精确的top-k认证和ε-认证的softmax近似，显著提升速度并保持分布保证。