RAG / 检索增强生成

MINER: Mining Multimodal Internal Representation for Efficient Retrieval

MINER：挖掘多模态内部表示以实现高效检索

Weien Li, Rui Song, Zeyu Li, Haochen Liu, Gonghao Zhang, Difan Jiao, Zhenwei Tang, Bowei He, Haolun Wu, Xue Liu, Ye Yuan

机构 * McGill University（麦吉尔大学） ； MIT - Massachusetts Institute of Technology（麻省理工学院） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） ； MBZUAI - Mohamed bin Zayed University of Artificial Intelligence（MBZUAI - 摩洛哥 bin Zayed 大学人工智能学院） ； Mila - Quebec AI Institute（Mila - 加拿大魁北克人工智能研究所） 纠错

专题命中 向量检索 ：dense retrieval(abstract)

AI总结 本文提出MINER，通过挖掘Transformer各层内部表示，融合多模态信号生成紧凑嵌入，提升检索性能，优于现有单向量检索器并在部分设置中缩小与晚交互基线的差距。

Comments Preprint