Transforming LLMs into Efficient Cross-Encoders via Knowledge Distillation for RAG Reranking
通过知识蒸馏将语言模型转换为高效的交叉编码器用于RAG重排
专题命中 检索器与排序 :RAG(title,title_cn);retrieval-augmented generation(abstract);retriever(abstract);vector search(abstract)
AI总结 研究针对交叉编码器推理成本高的问题,通过两阶段管道微调LLaMA 3为RAG重排器,先监督微调后4位量化,在特定领域问答基准上评估,相比交叉编码器基线有多项性能提升且降低推理开销。
Comments 6 pages, 4 figures. This work was completed in 2024