Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale
语言模型真的能进行上下文检索吗?在百万Token规模的文档中淹没
机构 * UC Berkeley(加州大学伯克利分校) ; UT Austin(得克萨斯大学奥斯汀分校)
专题命中 检索器与排序 :retriever(abstract);dense retrieval(abstract);分类 cs.CL
AI总结 本文首次系统研究百万Token语料库上的上下文检索,提出0.6B参数的BlockSearch模型,通过注意力稀释分析引入长度感知调整,在MS MARCO和NQ上匹配稠密检索,在LIMIT上得分高出3倍。