University of Washington（华盛顿大学）

Dynamic Multi-Byte Prediction With Hierarchical Language Models

基于分层语言模型的动态多字节预测

Abraham Toluwase Owodunni, Chibuzor Okocha, Christan Grant, Tomasz Limisiewicz, Sachin Kumar

机构 * The Ohio State University（俄亥俄州立大学） ； University of Florida（佛罗里达大学） ； University of Washington（华盛顿大学） 纠错

AI总结 本文针对分层语言模型逐字节生成推理速度慢的问题，提出多字节预测方法，通过可变长度预测窗口与因果注意力掩码实现并行字节预测，在多任务中达成性能与吞吐量的最优权衡。

Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents

利用记忆：记忆智能体中记忆载体的整体评估

Wei-Chieh Huang, Weizhi Zhang, Yuchen Wu, Yankai Chen, Eric Hanchen Jiang, Wooseong Yang, Yiwei Yang, Henry Peng Zou, Hanrong Zhang, Ying Nian Wu, Haolun Wu, Kai-Wei Chang, Philip S. Yu, Xue Liu, Aylin Caliskan

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Washington（华盛顿大学） ； McGill University（麦吉尔大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

AI总结 该研究评估了记忆智能体的多种记忆载体，发现无通用最优载体，不同载体适配不同场景，为自适应智能体记忆系统设计提供了实证指导。

Learning Agent Execution for KV-Cache Management in Agentic Serving

面向智能体服务的KV缓存管理的智能体执行学习

Rui Zhang, Chaeeun Kim, Shaoting Feng, Kuntai Du, Yuhan Liu, Yi Zhong, Cheng-Wei Ching, Junchen Jiang, Liting Hu

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of Washington（华盛顿大学） ； University of Chicago（芝加哥大学） 纠错

AI总结 针对多智能体LLM服务中KV缓存复用不足的问题，提出CacheScout，通过在线学习智能体执行转换优化缓存管理，显著提升缓存命中率、降低延迟并提高吞吐量。