RAG / 检索增强生成

ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions

Zhiyuan Peng, Jinming Nian, Alexandre Evfimievski, Yi Fang

机构 * Santa Clara University（圣克拉拉大学） ； Adobe Inc.（Adobe公司） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Accepted by SIGIR'25

JuDGE: Benchmarking Judgment Document Generation for Chinese Legal System

Weihang Su, Baoqing Yue, Qingyao Ai, Yiran Hu, Jiaqi Li, Changyue Wang, Kaiyuan Zhang, Yueyue Wu, Yiqun Liu

机构 * DCST, Tsinghua University（清华大学数据科学研究院） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Attribution in Scientific Literature: New Benchmark and Methods

Yash Saxena, Deepa Tilwani, Ali Mohammadi, Edward Raff, Amit Sheth, Srinivasan Parthasarathy, Manas Gaur

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Work in progress

Tricking Retrievers with Influential Tokens: An Efficient Black-Box Corpus Poisoning Attack

Cheng Wang, Yiwei Wang, Yujun Cai, Bryan Hooi

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；retriever(abstract)

Comments Accepted to NAACL 2025 Main Track

Context-DPO: Aligning Language Models for Context-Faithfulness

Baolong Bi, Shaohan Huang, Yiwei Wang, Tianchi Yang, Zihan Zhang, Haizhen Huang, Lingrui Mei, Junfeng Fang, Zehao Li, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Shenghua Liu

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Empowering Meta-Analysis: Leveraging Large Language Models for Scientific Synthesis

Jawad Ibn Ahad, Rafeed Mohammad Sultan, Abraham Kaikobad, Fuad Rahman, Mohammad Ruhul Amin, Nabeel Mohammed, Shafin Rahman

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Accepted in 2024 IEEE International Conference on Big Data (IEEE BigData)

AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant

Yujia Zhou, Zheng Liu, Zhicheng Dou

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Accepted by NeurIPS 2024 (poster)

On the Capacity of Citation Generation by Large Language Models

Haosheng Qian, Yixing Fan, Ruqing Zhang, Jiafeng Guo

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Accepted by CCIR 2024

Revisiting the Solution of Meta KDD Cup 2024: CRAG

Jie Ouyang, Yucong Luo, Mingyue Cheng, Daoyu Wang, Shuo Yu, Qi Liu, Enhong Chen

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Beyond Words: Evaluating Large Language Models in Transportation Planning

Shaowei Ying, Zhenlong Li, Manzhu Yu

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Why does in-context learning fail sometimes? Evaluating in-context learning on open and closed questions

Xiang Li, Haoran Tang, Siyu Chen, Ziwei Wang, Ryan Chen, Marcin Abram

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments 8 pages plus references, 4 main figures, 6 pages of supplementary material

uTeBC-NLP at SemEval-2024 Task 9: Can LLMs be Lateral Thinkers?

Pouya Sadeghi, Amirhossein Abaskohi, Yadollah Yaghoobzadeh

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments 12 pages, 5 figures, 6 tables, Proceedings of the 18th International Workshop on Semantic Evaluation (SemEval-2024) @ NAACL 2024

Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods

Esmaeil Narimissa, David Raithel

专题命中 RAG评测 ：RAG(abstract,comments)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

Comments This article is 16 pages long and includes detailed comparisons of RAG systems and document splitting techniques

Journal ref Access-2024-36001

An Interactive Multi-Agent System for Evaluation of New Product Concepts

一个用于新产品概念评估的交互式多智能体系统

Bin Xuan, Ruo Ai, Hakyeon Lee

专题命中 RAG评测 ：retrieval-augmented generation(abstract,comments)；RAG(abstract,comments)；分类 cs.AI

AI总结 本文提出基于大型语言模型的多智能体系统，用于自动化评估新产品概念的技术可行性和市场可行性，通过结构化讨论和专业数据微调，验证概念并提升判断准确性。

Comments 46 pages, 3 figures + This paper proposes an LLM-based multi-agent system (MAS) for automated evaluation of new product concepts, incorporating retrieval-augmented generation (RAG) and cross-functional virtual agents to assess technical and market feasibility

Correctness is not Faithfulness in RAG Attributions

Jonas Wallat, Maria Heuss, Maarten de Rijke, Avishek Anand

专题命中 RAG评测 ：RAG(title)；分类 cs.CL

Comments 13 pages, 3 figures

AnchorBench: A Multi-Pathway Benchmark for the Anchoring Effect in LLMs

AnchorBench：针对大语言模型中锚定效应的多路径基准测试

Yiderigun Borjigin, Alexander Hermann, Christian Cyron, Roland Aydin

机构 * Saarland University（萨尔大学） ； Hamburg University of Technology（汉堡工业大学） ； Helmholtz-Zentrum Hereon（亥姆霍兹中心赫伦） ； German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文推出针对大语言模型锚定效应的基准测试AnchorBench，经14种模型实验，揭示锚定效应的路径依赖性等特性，发现高控制准确率的前沿模型仍易受合理锚点影响。

Comments Published as a conference paper at COLM 2026

Persona Conditioning as an Assessor-Sensitivity Probe for LLM-Based IR Evaluation

角色设定作为基于大语言模型的信息检索评估的评估者敏感性探测工具

Samaneh Mohtadi, Pietro Bernardelle, Joel Mackenzie, Gianluca Demartini

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.AI

AI总结 本研究以角色设定为探测工具，分析基于大语言模型的IR评估中评估者敏感性，发现高容量模型能保持系统排序一致性，角色来源影响小于评估者角色和模型容量。

Comments Accepted at CIKM 2026

MemArena: An Ego-Centric Benchmark for On-Device Agentic Personal Memory Assistants at Scale

MemArena：面向移动端智能体个人记忆助手的大规模自我中心基准测试

Jiadong Zhang, Xiaosong Ma

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究针对现有记忆基准测试的不足，构建了MemArena基准，评估了不同记忆后端对移动端个人记忆助手的影响，发现后端选择对内容准确性影响更大，权限感知访问失效，搜索延迟仅在阅读器规模极小时有影响。

Comments 48 pages, 6 figures

OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries

OpenAIs HealthBench in Action: 评估基于LLM的医疗助手在真实临床查询中的表现

Sandhanakrishnan Ravichandran, Shivesh Kumar, Rogerio Corga Da Silva, Miguel Romano, Reinhard Berkels, Michiel van der Heijden, Olivier Fail, Valentine Emmanuel Gnanapragasam

机构 * OpenAI 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.AI

AI总结 DR.INFO在HealthBench基准测试中表现优异，优于多个前沿LLM，在复杂临床查询中展现出高准确性和情境感知能力。

Comments 13 pages, two graphs

MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems

MemTrace：大型语言模型记忆系统中的错误追踪与归因

Xinle Deng, Ruobin Zhong, Hujin Peng, Xiaoben Lu, Yanzhe Wu, Guang Li, Buqiang Xu, Yunzhi Yao, Jizhan Fang, Haoliang Cao, Junjie Guo, Yuan Yuan, Ziqing Ma, Yuanqiang Yu, Rui Hu, Baohua Dong, Hangcheng Zhu, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MemTrace框架，通过构建可执行的记忆演化图实现细粒度错误追踪，并利用自动归因方法定位根因，进而优化提示词提升下游任务性能。

Comments Ongoing work

Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs

并非所有线索都能被发现：事实分布和“不要编造”提示如何影响长上下文语言模型中的检索、推理和幻觉

Amirali Ebrahimzadeh, Seyyed M. Salili

机构 * Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 密歇根大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响，通过扩展基准评估多个模型，识别出分布崩溃和安全代价两种失败模式，发现许多失败源于无效上下文利用，强调特定模型稳健性和上下文管理的重要性。

Comments 16 pages, 8 figures, 2 tables. Accepted at the FAGEN Workshop @ ICML 2026

DeepTutor: Towards Agentic Personalized Tutoring

DeepTutor：迈向代理式个性化辅导

Bingxi Zhao, Jiahao Zhang, Xubin Ren, Zirui Guo, Tianzhe Chu, Yi Ma, Chao Huang

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 DeepTutor通过结合引用基础问题辅导与难度校准的问题生成，提出一个统一的开放源码框架，利用静态知识和动态学习者记忆实现个性化适应，并在五个领域大学课程中评估个性化教学效果。

Comments Tech Report, work in progress. Code available at https://github.com/HKUDS/DeepTutor

Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions

通过增量多轮交互评估LLM代理的记忆能力

Yuanzhe Hu, Yu Wang, Julian McAuley

机构 * University of California, San Diego（加利福尼亚大学圣迭戈分校） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MemoryAgentBench，通过多轮交互模拟记忆代理的信息积累过程，评估准确检索、测试时学习、长程理解与选择性遗忘四项核心能力。

Comments Y. Hu and Y. Wang contribute equally

Inform, Coach, Relate, Listen: Auditing LLM Caregiving Support Roles

告知、指导、共情、倾听：审计LLM护理支持角色

Drishti Goel, Agam Goyal, Veda Duddu, Olivia Pal, Jeongah Lee, Qiuyue Joy Zhong, Violeta J. Rodriguez, Daniel S. Brown, Dong Whi Yoo, Ravi Karkar, Koustuv Saha

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； OSF HealthCare（OSF医疗集团） ； Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过操作化四种社会支持角色（告知、指导、共情、倾听），评估大型语言模型在非正式护理对话中的安全概况，发现支持角色系统性地影响交互风险，且存在感知质量-安全性权衡。

Privacy-Preserving Text Sanitization for Distributed Agents Collaboration via Disentangled Representations

基于解耦表示的分布式智能体协作隐私保护文本净化

Xuan Liu, Hefeng Zhou, Sicheng Chen, Chao Yang, Xingcheng Xu, Jingjing Qu, Jiong Lou, Jie LI, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出DiSan框架，通过解耦文本为任务语义和风格子空间，结合联邦原型对齐与对抗正则化，在分布式多智能体协作中实现隐私保护，显著降低风格归因和PII泄露。

Substrate Asymmetry in User-Side Memory: A Diagnostic Framework

用户侧记忆中的子模块不对称性：一个诊断框架

Youwang Deng

机构 * EpistemicaLab — Independent Research（EpistemicaLab — 独立研究） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出一个诊断框架，将LLM用户侧记忆分解为行为一致性、事实存在和事实缺失三个正交子模块，发现参数记忆与检索记忆在不同子模块上存在不对称性，且RLHF调优加剧了这种不对称性。

Comments Preprint. Code: https://github.com/EpistemicaLab/substrate-asymmetry-memory

Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution

Code2LoRA：用于软件演化下代码语言模型的超网络生成适配器

Liliana Hotsko, Yinxi Li, Yuntian Deng, Pengyu Nie

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Code2LoRA超网络框架，通过生成仓库特定的LoRA适配器注入仓库知识，无需推理时令牌开销，支持静态和演化两种场景，在RepoPeftBench上达到与逐仓库LoRA相当或更优的性能。

Hallucination Detection in LLMs with Topological Divergence on Attention Graphs

基于注意力图拓扑分歧的LLM幻觉检测

Alexandra Bazarova, Andrei Volodichev, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Barannikov, Alexey Zaytsev

机构 * Applied AI Institute（应用人工智能研究所） ； SB AI Lab（SB人工智能实验室） ； HSE University（俄罗斯高等经济学院） ； CNRS, Universite Paris Cite（法国国家科学研究中心，巴黎Cité大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出TOHA方法，通过分析注意力矩阵的拓扑结构来检测LLM中的幻觉现象，实验表明该方法在多个基准测试中表现优异，且对标注数据和计算资源需求较低。

Comments Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA

通过归因视角对法律问答中的引用质量进行重排序

Mohamed Hesham Elganayni, Selim Saleh

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；retriever(abstract)；分类 cs.IR、cs.CL

AI总结 针对法律问答中检索增强生成系统的引用质量问题，提出基于扰动归因分数训练轻量级交叉编码器对候选段落重排序，显著提升引用忠实度并与专家答案对齐。

Comments 11 pages, 4 tables, 1 figure. Published at ASAIL 2026 (8th Workshop on Automated Semantic Analysis of Information in Legal Text), co-located with ICAIL 2026, Singapore

MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems

MINTEval: 评估长时间跨度智能体系统中的多目标干扰下的记忆

Hyunji Lee, Justin Chih-Yao Chen, Joykirat Singh, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出MINTEval基准，用于评估智能体在长时间跨度和多目标干扰下的记忆表现，通过长连接上下文、多领域和多类型问题来测试记忆增强代理的鲁棒性和泛化能力。

Comments Equal contribution; order decided by a coin flip. Code and data: https://github.com/amy-hyunji/MINTEval