RAG / 检索增强生成

Eval-Pair Matrix: Answer-Paired Meta-Evaluation of LLM Judges for Grounded RAG

评估对矩阵：基于事实的检索增强生成中大型语言模型评判器的答案配对元评估

Sriram Selvam, Anneswa Ghosh

专题命中 RAG评测 ：RAG(title,summary_cn)；retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 研究针对基于事实的检索增强生成中大型语言模型评判器自我宽容难识别问题，引入Eval-Pair Matrix协议，通过特定流程生成答案并评估，经实验得出同模型效应等结果，强调RAG评判器研究应报告多方面内容。

Enhancing LLMs through human feedback: a journey towards self-improvement

通过人类反馈增强语言模型：自我提升之旅

Tatiana Pelc, Gila Kamhi, Asaf Avrahamy, Adi Fledel-Alon

机构 * Intel Corporation（英特尔公司） 纠错

专题命中 RAG评测 ：RAG(summary_cn,abstract)；retrieval augmented generation(abstract)；分类 cs.IR、cs.CL、cs.AI

AI总结 研究在信息检索系统中，通过整合辅助反馈RAG系统及人工参与，利用人类反馈优化主RAG系统性能，经多数据集测试验证方法有效，强调了其变革潜力，为自适应信息检索技术研究树立了先例。

Comments AIC 2025: The 10th International Workshop on Artificial Intelligence and Cognition (held as part of ECAI 2025). October 25-26, 2025. Bologna, Italy

Cost and Accuracy of Long-Term Memory in Distributed Multi-Agent Systems Based on Large Language Models

基于大语言模型的分布式多智能体系统中长期记忆的成本与准确性

Benedict Wolff, Jacopo Bennati

专题命中 RAG评测 ：RAG(summary_cn,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR

AI总结 针对分布式多智能体系统中长期记忆的成本与准确性评估空白，构建独立可复现测试平台，比较多种架构并发现检索不完整是准确率差距主因，RAG基线以更低总拥有成本达到高准确率。

Comments Copyright IEEE 2026. Manuscript accepted at IEEE COMPSAC 2026. Not for redistribution. Published version: https://doi.org/10.1109/XXXXXX

LongMedBench: Benchmarking Medical Agents for Long-Horizon Clinical Decision-Making

LongMedBench：用于长期临床决策的医疗智能体基准测试

Zihan Xu, Yanzhen Chen, Xiaocheng Zhang, Zhiting Fan, Weiqi Zhai, Hongxia Xu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； Transvascular Implantation Devices Research Institute（血管内植入装置研究所） 纠错

专题命中 RAG评测 ：RAG(summary_cn,abstract)；分类 cs.AI

AI总结 介绍基于EHR的LongMedBench基准，用于长期临床决策。构建含多患者多事件数据集，提出评估分类法。实验表明大语言模型在隐式时间推理有挑战，RAG和智能体记忆系统对信息检索有帮助，决策任务性能依赖模型即时上下文。

Comments Submitted manuscript prior to peer review in MICCAI 2026

CAFE: A Compound-AI Factorial Evaluation Framework

CAFE：一种复合人工智能因子评估框架

Fabian Lukassen, Christoph Weisser, Thomas Kneib, Alexander Silbersdorff

机构 * University of Göttingen（哥廷根大学） ； Bielefeld University of Applied Sciences and Arts (HSBI)（比勒费尔德应用科学与艺术大学） 纠错

专题命中 RAG评测 ：retriever(abstract)；分类 cs.CL

AI总结 CAFE是开源平台，用于复合人工智能系统评估。它将管道组件设为因子构建析因设计，运行配置并用模型评判器和人工评分。能归因质量差异，报告多种结果，还能解释组件影响，在问答管道验证有效，已发布为Python包和Web应用。