RAG / 检索增强生成

CAFE: A Compound-AI Factorial Evaluation Framework

CAFE：一种复合人工智能因子评估框架

Fabian Lukassen, Christoph Weisser, Thomas Kneib, Alexander Silbersdorff

机构 * University of Göttingen（哥廷根大学） ； Bielefeld University of Applied Sciences and Arts (HSBI)（比勒费尔德应用科学与艺术大学） 纠错

专题命中 RAG评测 ：retriever(abstract)；分类 cs.CL

AI总结 CAFE是开源平台，用于复合人工智能系统评估。它将管道组件设为因子构建析因设计，运行配置并用模型评判器和人工评分。能归因质量差异，报告多种结果，还能解释组件影响，在问答管道验证有效，已发布为Python包和Web应用。

CAGE-1: Control, Assurance, and Governance Evaluation for Enterprise Agentic AI

CAGE-1：企业智能代理人工智能的控制、保证和治理评估

Roopam W. Sure

机构 * Independent technical report（独立技术报告） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 研究企业人工智能从实验转向运营工作流带来的评估问题，介绍CAGE-1评估框架，评估多方面内容，引入预绑定保证，用于判断企业代理是否可部署。

Comments 17 pages, 3 figures; independent technical report

StatEval: A Comprehensive Benchmark for Large Language Models in Statistics

StatEval：大型语言模型在统计学中的综合基准

Yuchen Lu, Run Yang, Yichen Zhang, Shuguang Yu, Ziwei Wang, Jiayi Xiang, Wenxin E, Changyu Zhu, Fan Zhou

机构 * Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 提出StatEval基准，包含10万+问题，覆盖本科到研究级统计推理，并开发TRACE管道和自适应评分方法，揭示LLM在基础任务上表现尚可但研究级推理薄弱。

DMind Benchmark: Toward a Holistic Assessment of LLM Capabilities across the Web3 Domain

DMind Benchmark：面向Web3领域LLM能力的全面评估

Enhao Huang, Pengyu Sun, Shuxun Wang, Zixin Lin, Alex Chen, Kaichun Hu, Joey Ouyang, Frank Li, Zhiyu Zhang, Haobo Wang, Yiming Li, Zhan Qin, James Yi, Gang Zhao, Ziang Ling, Lowes Yang

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 RAG评测 ：knowledge retrieval(abstract)；分类 cs.AI

AI总结 提出DMind Benchmark，覆盖Web3九个子领域，结合客观知识与开放推理任务，评估31个LLM，发现模型在安全审计等高推理任务中存在显著弱点。

TransLaw: A Large-Scale Dataset and Multi-Agent Benchmark Simulating Professional Translation of Hong Kong Case Law

TransLaw：模拟香港判例法专业翻译的大规模数据集与多智能体基准

Xi Xuan, Chunyu Kit

机构 * City University of Hong Kong, Hong Kong SAR, China（香港城市大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 针对香港判例法英译中资源匮乏、法律术语和格式要求严格的问题，构建了首个大规模句对齐平行语料库HKCFA Judgment 97-22，并提出多智能体框架TransLaw，通过分解翻译任务、集成法律词汇库和检索增强生成，显著提升翻译质量，但仍未达到人类专家的风格自然度。

Comments Accepted at ICML 2026 - AI for Law

Islamic Large Language Models: From Knowledge Acquisition to Trustworthy and Hallucination-Resistant AI

伊斯兰大语言模型：从知识获取到可信且抗幻觉的人工智能

Mohammed Amine Mouhoub

机构 * Paris Dauphine University（巴黎多芬纳大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 综述伊斯兰大语言模型领域，提出构建可信、抗幻觉的伊斯兰AI需结合阿拉伯语NLP、检索增强生成、教法学派推理及专家评估等关键技术。

QIAS 2026: Overview of the Shared Task on Islamic Inheritance Reasoning

QIAS 2026：伊斯兰继承推理共享任务综述

Abdessalam Bouchekif, Somaya Eltanbouly, Samer Rashwani, Shahd Gaben, Mutaz Al-Khatib, Heba Sbahi, Emad Mohamed, Mohammed Ghaly

机构 * Hamad bin Khalifa University（哈马德·本·哈利法大学） ； Nazarbayev University（纳扎尔巴耶夫大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 本文介绍 QIAS 2026 共享任务，评估大语言模型在伊斯兰继承领域的复杂推理能力，基于 MAWARITH 数据集，使用 MIR-E 多步指标评估，16 支队伍参与，结果显示该任务对当前模型极具挑战性。

The Attribution Blind Spot: Detecting When Language Models Rely on Memory Rather Than Retrieved Context

归因盲点：检测语言模型何时依赖记忆而非检索到的上下文

Zhe Yu, Wenpeng Xing, Yunzhao Wei, Bo Yang, Chen Ye, Gaolei Li, Meng Han

机构 * Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） ； National Fintech Evaluation Center（国家金融科技评估中心） ； Hangzhou Dianzi University（杭州电子科技大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文提出计算现实监控（CRM）方法，通过比较有无上下文时的内部表征差异，检测语言模型是否依赖预训练记忆而非检索到的上下文进行生成，解决了输出级监控无法识别的归因盲点问题。

Benchmarking and Learning Real-World Customer Service Dialogue

基准测试与学习真实世界客服对话

Tianhong Gao, Jundong Shen, Jiapeng Wang, Bei Shi, Ying Ju, Junfeng Yao, Huiyu Yu

机构 * ByteDance, Beijing, China（字节跳动，北京，中国） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 针对工业智能客服与真实对话需求脱节的问题，提出OlaBench基准和OlaMind模型，通过蒸馏专家推理模式与分阶段强化学习，在OlaBench上超越GPT-5.2和Gemini 3 Pro，在线A/B测试中问题解决率提升23.67%，人工转接率降低6.6%。

WCXB: A Multi-Type Web Content Extraction Benchmark

WCXB：一个多类型网络内容提取基准

Murrough Foley

机构 * Murrough Foley 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 本文提出WCXB基准，包含2008个网页，涵盖七种结构不同的页面类型，通过五阶段流程生成真实标注，评估13种提取系统，发现现有文章-only基准无法发现结构化页面的盲区。

Comments Dataset: github.com/Murrough-Foley/web-content-extraction-benchmark, doi.org/10.5281/zenodo.19316874. Leaderboard: webcontentextraction.org. Preprint also deposited at doi.org/10.5281/zenodo.19664685

SCICONVBENCH: Benchmarking LLMs on Multi-Turn Clarification for Task Formulation in Computational Science

SCICONVBENCH: 评估LLM在计算科学任务公式化中的多轮澄清能力

Nithin Somasekharan, Youssef Hassan, Shiyao Lin, Gihan Panapitiya, Patrick Emami, Anurag Acharya, Sameera Horawalavithana, Shaowu Pan

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； University of Texas at Arlington（德克萨斯大学阿灵顿分校） ； Pacific Northwest National Laboratory（太平洋西北国家实验室） ； National Renewable Energy Laboratory（国家可再生能源实验室） 纠错

专题命中 RAG评测 ：knowledge retrieval(abstract)；分类 cs.AI

AI总结 该研究提出SCICONVBENCH基准，用于评估LLM在计算科学任务公式化中的多轮澄清能力，重点在于获取缺失信息和解决请求中的矛盾，通过结构化任务本体和基于标准的评估框架，系统测量LLM在澄清行为、对话基础性和最终规格忠实度三个维度上的表现。

LCC-LLM: Leveraging Code-Centric Large Language Models for Malware Attribution

LCC-LLM：利用代码导向的大语言模型进行恶意软件归因

Christopher G. Pedraza Pohlenz, Hassan Jalil Hadi, Ali Hassan, Ali Shoker

机构 * CyberSaR, King Abdullah University of Science and Technology（CyberSaR，国王阿卜杜勒·阿齐兹大学科学与技术学院） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文提出LCC-LLM，一种代码导向的恶意软件归因和多任务静态恶意软件分析框架，通过构建包含34000个PE样本的LCCD数据集，结合静态分析与多源安全知识，提升恶意软件归因的可靠性与实用性。

EngiBench: A Benchmark for Evaluating Large Language Models on Engineering Problem Solving

EngiBench：用于评估大型语言模型在工程问题解决上的基准

Xiyuan Zhou, Xinlei Wang, Yirui He, Yang Wu, Ruixi Zou, Yuheng Cheng, Yulu Xie, Wenxuan Liu, Huan Zhao, Yan Xu, Jinjin Gu, Junhua Zhao

机构 * Nanyang Technological University（南洋理工大学） ； The University of Sydney（悉尼大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； The University of Hong Kong（香港大学） ； Hong Kong Polytechnic University（香港理工大学） ； AIRS 纠错

专题命中 RAG评测 ：knowledge retrieval(abstract)；分类 cs.AI

AI总结 EngiBench是一个分层基准，用于评估大型语言模型在解决工程问题上的能力，涵盖基础知识检索、情境推理和开放性建模三个层次，揭示当前LLM在现实工程中仍缺乏高级推理能力。

Comments Accepted at ACL 2026 Findings

Agentic AI for Substance Use Education: Integrating Regulatory and Scientific Knowledge Sources

代理AI用于物质使用教育：整合监管与科学知识源

Kosar Haghani, Zahra Kolagar, Mohammed Atiquzzaman

机构 * Department of Social Science, Texas Woman's University（德克萨斯女子大学社会科学系） ； Department of Computer Science, Augsburg University of Applied Sciences（应用科学大学计算机科学系） ； School of Computer Science, University of Oklahoma（俄克拉荷马大学计算机科学学院） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 本文提出一种基于代理的AI系统，结合监管数据与科学文献，提供实时、权威的物质使用教育，通过专家评估验证其准确性与适用性。

Comments 22 pages, 6 figures, 2 tables

OpenClassGen: A Large-Scale Corpus of Real-World Python Classes for LLM Research

OpenClassGen: 一个大规模的真实世界Python类语料库用于大语言模型研究

Musfiqur Rahman, SayedHassan Khatoonabadi, Emad Shihab

机构 * Concordia University（康科德大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 OpenClassGen提供324,843个Python类的语料库，用于评估大语言模型的代码生成能力，通过类骨架和静态代码度量指标，支持多种应用场景。

Comments This paper has been accepted for publication at the 30th International Conference on Evaluation and Assessment in Software Engineering (EASE 2026) AI models/data track

MetaGAI: A Large-Scale and High-Quality Benchmark for Generative AI Model and Data Card Generation

MetaGAI：一个大规模且高质量的生成AI模型和数据卡生成基准

Haoxuan Zhang, Ruochi Li, Yang Zhang, Zhenni Liang, Junhua Ding, Ting Xiao, Haihua Chen

机构 * University of North Texas（北德克萨斯大学） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 RAG评测 ：retriever(abstract)；分类 cs.AI

AI总结 本文提出MetaGAI基准，通过语义三角化构建2541个验证文档三元组，采用多智能体框架进行评估，揭示稀疏MoE架构在成本与质量效率上的优势，为大规模评估生成模型和数据卡方法提供基础测试平台。

CI-Work: Benchmarking Contextual Integrity in Enterprise LLM Agents

CI-Work: 企业LLM代理中情境完整性基准测试

Wenjie Fu, Xiaoting Qin, Jue Zhang, Qingwei Lin, Lukas Wutschitz, Robert Sim, Saravan Rajmohan, Dongmei Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Microsoft（微软） 纠错

专题命中 RAG评测 ：dense retrieval(abstract)；分类 cs.CL

AI总结 CI-Work基准测试评估企业LLM代理在密集检索中传达关键内容并隐藏敏感信息的能力，揭示隐私泄露普遍且高任务效用与隐私违规正相关，需转向以情境为中心的架构。

Journal ref The 64th Annual Meeting of the Association for Computational Linguistics (ACL'2026) -- Industry Track

To Know is to Construct: Schema-Constrained Generation for Agent Memory

知即建构：基于模式约束的代理记忆生成

Lei Zheng, Weinan Song, Daili Li, Yanming Yang

机构 * UnionPay（中国银联） 纠错

专题命中 RAG评测 ：dense retrieval(abstract)；分类 cs.CL

AI总结 本文提出SCG-MEM架构，通过模式约束生成实现记忆检索，避免结构幻觉并提升多跳推理能力，实验显示其在LoCoMo基准上表现优异。

Development and Preliminary Evaluation of a Domain-Specific Large Language Model for Tuberculosis Care in South Africa

针对南非结核病护理的领域专用大型语言模型的开发与初步评估

Thokozile Khosa, Olawande Daramola

机构 * University of Pretoria（南非大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 本文提出一种专门用于南非结核病护理的大型语言模型，通过量化低秩适应算法和图检索生成技术，提升了模型在结核病领域的上下文对齐能力。

Comments 12 pages, 2 figures, ICICT 2026 Conference

Context Attribution with Multi-Armed Bandit Optimization

基于多臂老虎机优化的上下文归因

Deng Pan, Keerthiram Murugesan, Ting Hua, Nuno Moniz, Nitesh Chawla

机构 * Lucy Family Institute for Data & Society, University of Notre Dame（数据与社会学院卢西家庭研究所，圣约翰大学） ； Department of Computer Science & Engineering, University of Notre Dame（计算机科学与工程系，圣约翰大学） ； IBM Research（IBM研究院） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文提出一种将上下文归因问题建模为组合多臂老虎机问题的框架，利用线性汤普森采样高效识别关键上下文片段，减少模型查询次数，实验表明在多个问答基准上实现30%的查询减少同时保持归因质量。

Comments Accepted as a Findings paper at ACL 2026

Regret-Aware Policy Optimization: Environment-Level Memory for Replay Suppression under Delayed Harm

考虑后悔的策略优化：环境层面的记忆用于回放抑制在延迟伤害下

Prakul Sunil Hiremath

机构 * Department of Computer Science and Engineering, VTU, Belagavi, India（印度贝尔高姆VTU计算机科学与工程系） ； Aliens on Earth (AoE) Autonomous Research Group, Belagavi, India（印度贝尔高姆地球外星人自主研究小组） 纠错

专题命中 RAG评测 ：RAG(abstract)；分类 cs.AI

AI总结 本文提出RAPO方法，通过环境层面的记忆机制抑制回放，减少有害区域的可达性，从而提升安全性和任务性能。

Comments 18 pages, 3 figures. Includes theoretical analysis and experiments on graph diffusion environments

QUASAR: A Universal Autonomous System for Atomistic Simulation and a Benchmark of Its Capabilities

QUASAR：一个通用的自主系统用于原子模拟及其能力的基准测试

Fengxu Yang, Jack D. Evans

机构 * School of Physics, Chemistry and Earth Sciences, Adelaide University（阿德莱德大学物理、化学与地球科学学院） 纠错

专题命中 RAG评测 ：knowledge retrieval(abstract)；分类 cs.AI

AI总结 QUASAR通过整合多种原子模拟方法，实现自主的多尺度工作流，展示了其在材料筛选和新型材料评估中的应用潜力。

Comments 14 pages, 2 figures

ESL-Bench: An Event-Driven Synthetic Longitudinal Benchmark for Health Agents

ESL-Bench: 一个基于事件的合成纵向基准用于健康代理

Chao Li, Cailiang Liu, Ang Gao, Kexin Deng, Shu Zhang, Langping Xu, Xiaotong Shi, Xionghao Ding, Jian Pei, Xun Jiang

机构 * Shanda Group（盛大集团） 纠错

专题命中 RAG评测 ：RAG(abstract)；分类 cs.AI

AI总结 ESL-Bench通过合成100个用户数据，涵盖健康档案、多阶段叙事计划、日常设备测量、定期检查记录和事件日志，评估健康代理在多源轨迹推理中的性能，发现数据库代理在比较和解释任务中显著优于记忆增强RAG基线。

Improvisational Games as a Benchmark for Social Intelligence of AI Agents: The Case of Connections

即兴游戏作为AI代理社交智能的基准测试：以Connections为例

Gaurav Rajesh Parikh, Angikar Ghosal

机构 * Duke University（杜克大学） ； Stanford University（斯坦福大学） 纠错

专题命中 RAG评测 ：knowledge retrieval(abstract)；分类 cs.AI

AI总结 本文通过即兴词游戏Connections探讨AI代理的推理能力，提出该游戏作为测试社交智能的基准，涵盖知识检索、总结及认知状态意识等核心能力。

Comments https://wordplay-workshop.github.io/wordplay2024/pdfs/16.pdf

Journal ref https://wordplay-workshop.github.io/wordplay2024/pdfs/16.pdf

The Energy Footprint of LLM-Based Environmental Analysis: LLMs and Domain Products

基于大语言模型的环境分析能耗：LLM与领域产品

Alicia Bao, Jiamian He, Angel Hsu, Diego Manya, Ji, Zhang

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Arboretica ； Data-Driven EnviroLab UNC Institute for Environment（北卡罗来纳大学环境研究所数据驱动环境实验室） 纠错

专题命中 RAG评测 ：RAG(abstract)；分类 cs.AI

AI总结 本文研究了领域特定RAG系统与通用LLM在能耗上的差异，通过分解工作流程评估了ChatNetZero和ChatNDC的能耗，发现领域设计显著影响能耗与输出质量。

HEAD-QA v2: Expanding a Healthcare Benchmark for Reasoning

HEAD-QA v2：扩展医疗基准以进行推理

Alexis Correa-Guillén, Carlos Gómez-Rodríguez, David Vilares

专题命中 RAG评测 ：RAG(abstract)；分类 cs.CL

AI总结 HEAD-QA v2扩展了医疗推理数据集，包含12000个西班牙专业考试问题，评估多种LLM性能，发现模型规模和推理能力是主要影响因素。

Comments LREC 2026 camera-ready version

TailNLG: A Multilingual Benchmark Addressing Verbalization of Long-Tail Entities

TailNLG：一种针对长尾实体 verbalization 的多语言基准

Lia Draetta, Michael Oliverio, Virginia Ramón-Ferrer, Pier Felice Balestrucci, Flaviana Corallo, Carlos Badenes-Olmedo, Alessandro Mazzei, Marco Antonio Stranisci, Rossana Damiano

机构 * University of Turin（都灵大学） ； Universidad Politécnica de Madrid（马德里理工大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 本文提出TailNLG基准，评估大型语言模型在长尾实体上的表现，揭示其存在偏见，强调需更可靠的评估框架。

Autonomous Issue Resolver: Towards Zero-Touch Code Maintenance

自主问题解决者：迈向零接触代码维护

Aliaksei Kaliutau

机构 * Imperial College London（伦敦帝国理工学院） 纠错

专题命中 RAG评测 ：RAG(abstract)；分类 cs.AI

AI总结 本文提出基于数据转换图的新型方法，通过数据状态节点和函数边的拓扑结构，解决传统代码属性图的控制流逻辑缺陷，实现数据完整性导航与控制流逻辑的统一，提升代码修复效率。

Comments 21 pages, 4 figures

LLM Benchmark-User Need Misalignment for Climate Change

LLM基准-气候变化中的用户需求错位

Oucheng Liu, Lexing Xie, Jing Jiang

专题命中 RAG评测 ：RAG(abstract)；分类 cs.CL

AI总结 研究揭示现有LLM基准与实际用户需求存在显著不匹配，提出主动知识行为框架和主题-意图-形式分类法，为基准设计、RAG系统开发和LLM训练提供指导。

Comments 37 pages (8 main), 31 figures, 14 tables

OMIND: Framework for Knowledge Grounded Finetuning and Multi-Turn Dialogue Benchmark for Mental Health LLMs

OMIND：面向心理健康大语言模型的知识引导微调与多轮对话基准框架

Suraj Racha, Prashant Harish Joshi, Utkarsh Maurya, Nitin Yadav, Mridul Sharma, Ananya Kunisetty, Saranya Darisipudi, Nirmal Punjabi, Ganesh Ramakrishnan

机构 * Indian Institute of Technology Bombay（印度理工学院孟买分校） 纠错

专题命中 RAG评测 ：knowledge retrieval(abstract)；分类 cs.CL

AI总结 本文提出OMIND框架，通过结构化知识检索、模型剪枝和人工审核生成高质量多任务SFT数据集，并引入oMind-Chat多轮对话基准，验证了其在核心能力和对话任务上的优越性能。

Comments 9 pages, 3 figures, 5 tables