How Significant Are the Real Performance Gains? An Unbiased Evaluation Framework for GraphRAG
实际性能提升有多显著?GraphRAG的无偏评估框架
机构 * School of Computer Science, Wuhan University(武汉大学计算机学院) ; School of Computer Science, Peking University(北京大学计算机学院) ; Centre for Perceptual and Interactive Intelligence (CPII)(感知与交互智能中心) ; OceanBase
专题命中 RAG评测 :retrieval-augmented generation(abstract);分类 cs.IR、cs.CL、cs.AI
AI总结 针对GraphRAG现有评估框架的不相关问题与评估偏差缺陷,提出无偏评估框架并发现代表性GraphRAG方法的性能提升远小于此前报告结果,呼吁开展科学评估。