RAG / 检索增强生成

CacheClip: Accelerating RAG with Effective KV Cache Reuse

CacheClip: 通过有效的KV缓存重用加速RAG

Bin Yang, Qiuyu Leng, Jun Zeng, Zhenhua Wu

机构 * Intel Corporation（英特尔公司） 纠错

专题命中 长文档RAG ：RAG(title,title_cn)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文提出CacheClip框架，通过有效利用KV缓存重用，解决了RAG系统中TTFT瓶颈问题，同时保持高质量生成。