Princeton University（普林斯顿大学）

End-to-End Context Compression at Scale

端到端上下文压缩的规模化

Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov

机构 * New York University（纽约大学） ； Modal Labs（Modal实验室） ； University of Maryland（马里兰大学） ； Princeton University（普林斯顿大学） ； Columbia University（哥伦比亚大学） ； Harvard University（哈佛大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； FAIR at Meta（Meta FAIR实验室） 纠错

AI总结 本研究通过架构搜索和持续预训练，提出潜在上下文语言模型（LCLMs），一种端到端编码器-解码器压缩器，在通用任务性能、压缩速度和峰值内存上改进帕累托前沿，并可作为长时智能体的高效骨干。