MINER: Mining Multimodal Internal Representation for Efficient Retrieval
MINER:挖掘多模态内部表示以实现高效检索
机构 * McGill University(麦吉尔大学) ; MIT - Massachusetts Institute of Technology(麻省理工学院) ; University of Cambridge(剑桥大学) ; University of Toronto(多伦多大学) ; MBZUAI - Mohamed bin Zayed University of Artificial Intelligence(MBZUAI - 摩洛哥 bin Zayed 大学人工智能学院) ; Mila - Quebec AI Institute(Mila - 加拿大魁北克人工智能研究所)
AI总结 本文提出MINER,通过挖掘Transformer各层内部表示,融合多模态信号生成紧凑嵌入,提升检索性能,优于现有单向量检索器并在部分设置中缩小与晚交互基线的差距。
Comments Preprint