CanLegalRAGBench: Evaluating Retrieval-Augmented Generation on Canadian Case Law
CanLegalRAGBench:评估加拿大判例法上的检索增强生成
机构 * Department of Computer Science, University of British Columbia(不列颠哥伦比亚大学计算机科学系) ; Vector Institute(向量研究所) ; CIFAR AI Chair Peter A. Allard School of Law, University of British Columbia(不列颠哥伦比亚大学彼得·A·艾尔德法学院)
专题命中 知识库问答 :RAG(summary_cn,abstract);retrieval-augmented generation(title);分类 cs.CL
AI总结 针对法律RAG系统中幻觉问题及加拿大法律评估不足,提出基于真实查询和专家标注的加拿大法律QA基准CanLegalRAGBench,发现检索性能受设计选择影响、开源嵌入模型与闭源模型竞争力相当,但自动评估存在局限且生成答案常偏离黄金标准。