RAG / 检索增强生成

FATHOMS-RAG: A Framework for the Assessment of Thinking and Observation in Multimodal Systems that use Retrieval Augmented Generation

FATHOMS-RAG：评估使用检索增强生成的多模态系统思考与观察的框架

Samuel Hildebrand, Curtis Taylor, Sean Oesch, James M Ghawaly, Amir Sadovnik, Ryan Shivers, Brandon Schreiber, Kevin Kurian

机构 * Louisiana State University（路易斯安那州立大学） ； Oak Ridge National Lab（橡树岭国家实验室） ； University of Florida（佛罗里达大学） 纠错

专题命中 RAG评测 ：RAG(title,title_cn)；retrieval augmented generation(title)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 提出一个评估RAG管道的基准，包含93个多模态问题、短语级召回率指标、最近邻嵌入分类器，并对比开源与闭源管道性能，发现闭源管道在正确性和幻觉指标上显著优于开源。

Comments Accepted at SAFE-ML 2026 Workshop at the International Conference on Software Testing (ICST) 2026 Code: https://github.com/Sam-Hildebrand/FATHOMS-RAG