QCFuse: Query-Aware Cache Fusion via Compressed View for Efficient RAG Serving
QCFuse: 通过压缩视图的查询感知缓存融合实现高效RAG服务
机构 * Zhejiang University(浙江大学) ; East China Normal University(华东师范大学) ; Ant Group(蚂蚁集团) ; The Hong Kong Polytechnic University(香港理工大学) ; Zhejiang Normal University(浙江师范大学) ; Tongji University(同济大学) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) ; The Hong Kong University of Science and Technology(香港科学与技术大学)
专题命中 长文档RAG :RAG(title,title_cn);retrieval-augmented generation(abstract);分类 cs.AI、cs.DB
AI总结 提出QCFuse,一种基于压缩视图的查询感知选择器,通过块锚查询探测和关键层分析实现高效RAG缓存融合,在保持全预填充质量的同时平均加速1.7倍。