RAG / 检索增强生成

Quantifying Prior Dominance in RAG Systems

量化RAG系统中的先验主导性

Barak Or

机构 * ArtificialGate Ltd.（ArtificialGate有限公司） 纠错

专题命中 RAG评测 ：RAG(title,title_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 提出归一化上下文利用（NCU）指标，通过连续token对数概率严格量化RAG系统的上下文信息增益，发现小语言模型在严格事实提取中匹配或超越大模型，且先验主导性与模型规模及专有对齐相关。

Comments 15 pages, Preprint

MMed-Bench-IR: A Heterogeneous Benchmark for Multilingual Medical Information Retrieval

MMed-Bench-IR：多语言医学信息检索的异构基准

Junhyeok Lee, Han Jang, Hyeonjin Goh, Kyu Sung Choi

机构 * Seoul National University（首尔国立大学） ； Seoul National University College of Medicine（首尔国立大学医学院） ； Seoul National University Hospital（首尔国立大学医院） 纠错

专题命中 RAG评测 ：RAG(summary_cn,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL、cs.AI

AI总结 针对临床RAG的多语言检索需求，提出MMed-Bench-IR基准，涵盖跨语言对齐、概念区分和证据检索三种异构任务，评估6种语言下10个系统，发现生物医学编码器在英语与日语间性能差距巨大。

Comments Under review. 15 pages, 3 figures

Do LLM Attribution Metrics Transfer? Auditing Retrieval-Augmented Generation Evaluation Across Datasets and Constructs

LLM归因指标是否可迁移？跨数据集和构念的检索增强生成评估审计

Tianyu Ding, Aditya Nannapaneni, Juan Pablo De la Cruz Weinstein

机构 * Amazon Web Services（亚马逊云服务） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(title,abstract)；分类 cs.IR、cs.CL

AI总结 本研究审计了八种自动归因评分器在三个评估构念上的表现，发现没有评分器能在所有数据集上保持最佳性能，指标排名会反转，且简单选择最佳平均评分器会导致显著遗憾。