End-to-End Context Compression at Scale
端到端上下文压缩的规模化
机构 * New York University(纽约大学) ; Modal Labs(Modal实验室) ; University of Maryland(马里兰大学) ; Princeton University(普林斯顿大学) ; Columbia University(哥伦比亚大学) ; Harvard University(哈佛大学) ; Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室) ; FAIR at Meta(Meta FAIR实验室)
AI总结 本研究通过架构搜索和持续预训练,提出潜在上下文语言模型(LCLMs),一种端到端编码器-解码器压缩器,在通用任务性能、压缩速度和峰值内存上改进帕累托前沿,并可作为长时智能体的高效骨干。