RAG / 检索增强生成

SIFT: Selective-Index For Fast Compute of RAG Prefill by Exploiting Attention Invariance

SIFT: 利用注意力不变性实现RAG预填充快速计算的索引选择

Rya Sanovar, Srikant Bharadwaj, Hritvik Taneja, Moinuddin Qureshi

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Microsoft（微软） 纠错

专题命中 向量检索 ：RAG(title,title_cn)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 针对RAG查询中文档重复导致预填充计算冗余和TTFT增加的问题，提出SIFT方法，通过离线提取文档高注意力分数位置并利用注意力不变性，在预填充时仅计算标记位置，将TTFT提升1.71倍且精度损失在1%以内。