RAG / 检索增强生成

QCFuse: Query-Centric Cache Fusion for Efficient RAG Inference

QCFuse：基于查询的缓存融合用于高效RAG推理

Jianxin Yan, Zeheng Qian, Wangze Ni, Zhitao Shen, Zhiping Wang, Haoyang Li, Jia Zhu, Lei Chen, Kui Ren

机构 * Zhejiang University（浙江大学） ； The University of Sydney（悉尼大学） ； Zhejiang Normal University（浙江师范大学） 纠错

专题命中 长文档RAG ：RAG(title,abstract)；分类 cs.AI、cs.DB

AI总结 QCFuse通过基于查询的缓存融合提升RAG推理效率，利用语义摘要锚点优化查询表示并选择性重计算相关token，实验证明在保持准确性的同时提升响应效率40%。