Carnegie Mellon University（卡内基梅隆大学）

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

长度值模型：用于令牌级长度建模的可扩展值预训练

Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； LMSYS Org（LMSYS组织） ； Apple Inc.（苹果公司） 纠错

AI总结 本文提出Length Value Model，通过令牌级建模实现高效的长度预测，提升生成长度的准确性和效率，实验显示其在多个任务中优于现有模型。

CLT-Forge: A Scalable Library for Cross-Layer Transcoders and Attribution Graphs

CLT-Forge：一种可扩展的跨层转码器和归因图库

Florent Draye, Vedant Palit, Abir Harrasse, Tung-Yu Wu, Jiarui Liu, Punya Syon Pandey, Roderick Wu, Chih-Hao Hsu, Terry Jingchen Zhang, Zhijing Jin, Bernhard Schölkopf

机构 * Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； Jinesis AI Lab（Jinesis人工智能实验室） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； CMU（卡内基梅隆大学） ； EuroSafeAI ； ELLIS Institute Tübingen（图宾根ELLIS研究所） 纠错

AI总结 本文提出CLT-Forge库，通过分布式训练、模型分片和压缩激活缓存提升跨层转码器的可扩展性，提供统一的可解释性流程和可视化接口，解决归因图的冗余问题。

Comments 9 pages, 7 figures, 1 table. Code: https://github.com/LLM-Interp/CLT-Forge. Demonstration video: https://youtu.be/6ptrrLawTl8