SAGE: Selective Attention-Guided Extraction for Token-Efficient Document Indexing
SAGE:基于选择性注意力的令牌高效文档索引提取
专题命中 长文档RAG :RAG(abstract,abstract_cn);retrieval-augmented generation(abstract);分类 cs.DB
AI总结 本文提出SAGE方法,通过轻量本地LLM进行单次预填充,将语言模型注意力信号转化为查询特定的相关热图,从而在可控粒度下选择高相关单元,减少上下文并提升问答性能。
Comments 12 pages, 10 figures