TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval
TeleRAG: 通过前瞻性检索实现高效的检索增强生成推理
机构 * Paul G. Allen School of Computer Science and Engineering, University of Washington, Seattle, WA, USA(华盛顿大学保罗·G·艾伦计算机科学与工程学院,西雅图,华盛顿州,美国) ; Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, USA(哈佛大学约翰·A·保罗森工程与应用科学学院,剑桥,马萨诸塞州,美国) ; Shanghai Jiao Tong University, Shanghai, China(上海交通大学,上海,中国)
AI总结 本文提出TeleRAG,一种通过前瞻性检索机制减少延迟并提高吞吐量的高效检索增强生成推理系统,该系统在有限的GPU内存下实现了更高的性能和可扩展性。