MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents
MultiHaystack:用于40,000张图像、视频和文档的多模态检索和推理的基准测试
机构 * INSAIT ; Lanzhou University(兰州大学) ; King Abdullah University of Science and Technology(国王阿卜杜勒-阿齐兹科学与技术大学) ; Heriot-Watt University(赫瑞-沃德大学) ; Monash University(莫纳什大学) ; University College Dublin(都柏林大学学院)
专题命中 视频理解 :video understanding(abstract);分类 cs.CV
AI总结 MultiHaystack是首个评估大规模异构多模态检索与推理的基准测试,揭示了MLLMs在异构语料库中检索证据时的性能瓶颈。