University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

长度值模型：用于令牌级长度建模的可扩展值预训练

Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； LMSYS Org（LMSYS组织） ； Apple Inc.（苹果公司） 纠错

AI总结 本文提出Length Value Model，通过令牌级建模实现高效的长度预测，提升生成长度的准确性和效率，实验显示其在多个任务中优于现有模型。