RAG / 检索增强生成

Failure Modes of Large Language Models on Research-Level Mathematics: A Taxonomy and an Empirical Characterisation

大语言模型在研究级数学问题上的失败模式：分类与实证刻画

Arnesh Banerjee, Ayushi Bhattacharjee

机构 * Dept. of CSE (Data Science) Heritage Institute of Technology（计算机科学与工程系（数据科学）哈里特技术学院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文通过分析“First Proof”基准测试中LLM的错误，识别出四种失败模式（F1-F4），并审计Gemini 2.5 Flash生成的证明，发现前提走私（F2）普遍存在且无法被引文验证检测，提出应构建推理时管道预防而非事后检测。

A Multi-Agent Audit Framework for High-Stakes Reasoning: Evaluation and Interpretability in Clinical Mental Health Screening

面向高风险推理的多智能体审计框架：临床心理健康筛查中的评估与可解释性

Jingchen Ye, Yanpei Yu, Luyao Zhang

机构 * Duke Kunshan University（昆山杜克大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；knowledge retrieval(abstract)；分类 cs.CL

AI总结 提出多智能体审计框架，通过感知、知识检索、思维链推理和审计验证的多步协作，在临床心理健康筛查中降低PHQ-8抑郁预测误差，提升可解释性。

Agent-Based Test Assertion Generation via Diverse Perspective Aggregation

基于智能体的多视角聚合测试断言生成

Dong Wang, Qiaoyu Han, Lin Yang, Jianyi Zhou, Guangtai Liang, Junjie Chen

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)

AI总结 针对现有LLM断言生成方法的局限，提出基于智能体的AssertMate框架，通过三个组件聚合多视角，在Defects4J和EvoSuite验证中性能显著优于现有技术。

Comparative Validation of GPT-4o-mini and Teacher Mean Scores for Automated Scoring of Music Analysis Responses: Single-Pass Deployment, Repeatability, and Strategy-Specific Bias

GPT-4o-mini与教师平均评分在音乐分析回答自动评分中的比较验证：单次部署、可重复性及策略特异性偏差

Baicheng Lin, Lingxi Jin, Kyung-Seok Min

机构 * Sejong University（世宗大学） ； Ewha Womans University（梨花女子大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)

AI总结 本研究以教师平均评分为基准，评估GPT-4o-mini对音乐分析回答的自动评分能力，发现Fs+CoT策略与教师评分一致性最强，不同策略评分特征不同，实际应用需针对性校准与人工监督。

Comments Proceedings of the International Meeting of the Psychometric Society: The 91st Annual Meeting, Seoul, Republic of Korea, 2026

Retrieval over Reasoning: A Cost-Controlled Benchmark of Language Models for Energy-Retrofit Recommendation

基于推理的检索：用于能源改造推荐的语言模型成本控制基准

Eliseo Curcio

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)

AI总结 研究为建筑推荐节能措施问题，通过树集成解决EUI预测，发现推荐任务框架影响模型选择，对八个大语言模型基准测试，表明其过度推荐，检索可缩小差距，还给出成本控制下模型的效果。

Generalized Rank-based Evaluation for Knowledge Graph Completion: Perspectives, Framework, and Analyses

基于排序的知识图谱补全广义评估：视角、框架与分析

Sooho Moon, Jian Kang, Yunyong Ko

机构 * Chung-Ang University（中央大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)

AI总结 针对现有评估指标忽视预测锐度与流行偏差鲁棒性的问题，提出广义评估框架PROBE，通过排序变换器和排序聚合器实现更全面、灵活且一致的模型评估。

Comments 25 pages, 12 figures, 5 tables

AnchorBench: A Multi-Pathway Benchmark for the Anchoring Effect in LLMs

AnchorBench：针对大语言模型中锚定效应的多路径基准测试

Yiderigun Borjigin, Alexander Hermann, Christian Cyron, Roland Aydin

机构 * Saarland University（萨尔大学） ； Hamburg University of Technology（汉堡工业大学） ； Helmholtz-Zentrum Hereon（亥姆霍兹中心赫伦） ； German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文推出针对大语言模型锚定效应的基准测试AnchorBench，经14种模型实验，揭示锚定效应的路径依赖性等特性，发现高控制准确率的前沿模型仍易受合理锚点影响。

Comments Published as a conference paper at COLM 2026

Persona Conditioning as an Assessor-Sensitivity Probe for LLM-Based IR Evaluation

角色设定作为基于大语言模型的信息检索评估的评估者敏感性探测工具

Samaneh Mohtadi, Pietro Bernardelle, Joel Mackenzie, Gianluca Demartini

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.AI

AI总结 本研究以角色设定为探测工具，分析基于大语言模型的IR评估中评估者敏感性，发现高容量模型能保持系统排序一致性，角色来源影响小于评估者角色和模型容量。

Comments Accepted at CIKM 2026

MemArena: An Ego-Centric Benchmark for On-Device Agentic Personal Memory Assistants at Scale

MemArena：面向移动端智能体个人记忆助手的大规模自我中心基准测试

Jiadong Zhang, Xiaosong Ma

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究针对现有记忆基准测试的不足，构建了MemArena基准，评估了不同记忆后端对移动端个人记忆助手的影响，发现后端选择对内容准确性影响更大，权限感知访问失效，搜索延迟仅在阅读器规模极小时有影响。

Comments 48 pages, 6 figures

Privacy-Preserving Text Sanitization for Distributed Agents Collaboration via Disentangled Representations

基于解耦表示的分布式智能体协作隐私保护文本净化

Xuan Liu, Hefeng Zhou, Sicheng Chen, Chao Yang, Xingcheng Xu, Jingjing Qu, Jiong Lou, Jie LI, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出DiSan框架，通过解耦文本为任务语义和风格子空间，结合联邦原型对齐与对抗正则化，在分布式多智能体协作中实现隐私保护，显著降低风格归因和PII泄露。

Substrate Asymmetry in User-Side Memory: A Diagnostic Framework

用户侧记忆中的子模块不对称性：一个诊断框架

Youwang Deng

机构 * EpistemicaLab — Independent Research（EpistemicaLab — 独立研究） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出一个诊断框架，将LLM用户侧记忆分解为行为一致性、事实存在和事实缺失三个正交子模块，发现参数记忆与检索记忆在不同子模块上存在不对称性，且RLHF调优加剧了这种不对称性。

Comments Preprint. Code: https://github.com/EpistemicaLab/substrate-asymmetry-memory

MemoryLake on MemoryArena: A Matched Study of Agent Memory Backends

基于MemoryArena的MemoryLake研究：智能体记忆后端的匹配对比

Chaoqun Zhan, Qiang Zhou, Guannan Li, Zhenqiang Huang, Qianjin Wang

机构 * MemoryLake Team（MemoryLake团队） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究在MemoryArena的五个任务领域中，对比MemoryLake等三种智能体记忆后端，发现MemoryLake在数学等三个领域成功率最高，整体平均成功率领先，且性能与工作负载相关。

Comments 16 pages, 7 tables

Reconcile Once, Write Anytime: A Trust-Tiered Librarian and a Multi-Agent Writer for Drift-Free, Point-in-Time Research

一次对账，随时撰写：用于无漂移、时点研究的信任分层图书馆与多智能体撰写器

Xing Zhang, Yanwei Cui, Guanghui Wang, Peiyang He

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究提出双层智能体系统，通过信任分层图书馆与多智能体撰写器分离知识库与报告撰写，消除报告矛盾与漂移，实验验证其在多指标、多场景下的有效性与效率优势。

GuideSkill: Evolving Executable LLM Agent Skills for Guideline-Grounded Clinical Reasoning

GuideSkill：面向基于指南的临床推理的可执行大语言模型智能体技能演化框架

Lang Cao, Yuhao Shen, Tianyang Luo, Simo Du, Hao Peng, Yue Guo

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出与模型无关的GuideSkill框架，通过可执行技能结合指南流程与病例诊断模式，在多基准和骨干模型上显著提升临床推理性能，技能可靠且实用。

Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation

用于基础设施即代码生成的智能语言模型的验证优先评估

Mohamed Jouini

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对自然语言生成基础设施即代码的问题，对七种智能策略在特定基准测试上进行验证优先评估，通过多种方法得出如主动检索提升性能、迭代优化有收敛效果等五个主要发现，为相关研究提供了重要参考。

Comments 26 pages, 3 figures, 17 tables. Benchmark dataset available at https://huggingface.co/datasets/iac-eval-v2/iac-eval-v2

OntoExtend: A Framework for Requirement-driven and Scalable Ontology Extension with LLMs

OntoExtend：一个用于基于需求驱动和可扩展的大语言模型本体扩展框架

Anna Sofia Lippolis, Mohammad Javad Saeedizade, Stefan Schmid, Simon Blattner, Robin Keskisärkkä, Aldo Gangemi, Eva Blomqvist, Andrea Giovanni Nuzzolese

机构 * Linköping University（林雪平大学） ； University of Bologna（博洛尼亚大学） ； Bosch（博世公司） ； ISTC-CNR（意大利国家研究委员会信息科学与技术研究所） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 研究基于需求驱动的本体扩展问题，提出用检索增强生成的OntoExtend框架，通过在相关输入本体和需求上应用该框架，在两个用例的能力问题上评估，结果显示其可作为现实场景中本体扩展起草助手，对问题特异性和建模概要敏感。

Comments Accepted in research track of Semantics 2026: https://2026-eu.semantics.cc/page/accepted_research

Optimizing Visibility in Generative Engines: A Critical Survey of Generative Engine Optimization (2023-2026)

优化生成引擎中的可见性：生成引擎优化的批判性综述（2023 - 2026）

Olivier Martinez

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR

AI总结 该研究对2023年11月至2026年有关生成引擎优化的45项研究进行批判性综述，指出其术语等存在异质性。贡献多阶段形式模型等，表明虽有成果但证据有限，未显示技术对有机可发现性等有稳定因果效应。

Comments 18 pages, 8 tables, 1 figure; critical survey of 45 studies; ancillary literature matrix and search protocol included

Toward Trustworthy Large Language Model Agents in Healthcare

迈向医疗保健领域值得信赖的大语言模型智能体

Hadi Hasan, Safaa Salman, Adam Tai Abou Dargham, Ammar Mohanna, Ali Chehab

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 针对医疗预约调度瓶颈，提出CareConnect智能体，利用大语言模型函数调用等技术，协调工具支持预约操作，设安全护栏。经评估有高任务完成率、安全合规性及成本效益，能自动化复杂医疗工作流程。

CLAP: Closed-Loop Training, Evaluation, and Release Control for Domain Agent Post-training

CLAP：领域智能体后训练的闭环训练、评估与发布控制

Fangfei Li, Chenyang Zhao, Long Wang, Feng Tian, Zhiyue Zheng, Lv Guo

机构 * MatrixOrigin（矩阵起源） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 提出CLAP闭环方法，通过数据验证、奖励/KL诊断、离线门控和应用链回放，在制造场景中评估后训练效果，发现仅部分批次提升且存在KL风险，支持集成循环管理。

Comments 6 pages, 1 figure. Accepted to CRAE 2026; to appear in SPIE Proceedings. Best Poster Award

EMBL AI Librarian: Life-Sciences Knowledge Layer for AI Agents

EMBL AI Librarian：面向AI智能体的生命科学知识层

Luigi Sigillo, Matteo Silvestri, Francesco Tabaro, Rajat Bhatnagar, Syed Irtaza Mubashar, Matt Jeffryes, Daljit Nijjer, Vittorio Perera, Ola Spjuth, Julio Saez-Rodriguez, Melissa Harrison, Fabio Petroni

专题命中 RAG评测 ：knowledge retrieval(abstract)；分类 cs.IR、cs.CL、cs.AI

AI总结 该研究推出EMBL AI Librarian，为AI智能体升级Europe PMC接口，通过LLM统筹检索，在多基准任务中提升性能，代码已公开。

FinanceComplexQA: Benchmarking Agentic Reasoning on Industrial-grade Financial Documents

FinanceComplexQA：对工业级金融文档进行智能体推理的基准测试

Xianfu Cheng, Shiwei Zhang, Jiyu Zhao, Jian Yang, Xinyuan Wang, Ming Zhou, Weixiao Zhou, Xiangyuan Guan, Xiang Li, Zhenhe Wu, Ziyi Ni, Zhoujun Li, Bingjing Xu

专题命中 RAG评测 ：RAG(abstract,abstract_cn)

AI总结 研究针对金融文档智能体推理性能差异问题，设计Finance-LaTeX SKILL生成金融文档和问答对，引入FinanceComplexQA基准测试，对领先系统和工具全面评估，通过分析失败案例研究其在多方面的能力。

Comments 27 pages, 9 tables, 2 figures

PriEval-Protect: A Unified Framework for Privacy Evaluation and Protection in Healthcare Systems

PriEval-Protect：医疗系统中隐私评估与保护的统一框架

Ilef Chebil, Asma El Hadj, Souheib Yousfi, Aroua Hedhili, Layth Sliman

专题命中 RAG评测 ：RAG(abstract,abstract_cn)

AI总结 针对医疗系统隐私问题，PriEval-Protect框架分两阶段统一评估与缓解隐私风险。评估阶段结合法规评分与技术分析得出综合风险评分，保护阶段依风险推荐对策，实现法规与数据级风险分析的衔接，结果具合规性与可解释性。

Comments 10 pages, 3 figures. Accepted at IDT 2026

MetaSyn: A Benchmark for LLM Agents on Meta-Analysis Articles from Nature Portfolio

对Nature Portfolio元分析文章进行LLM代理基准测试

Anzhe Xie, Weihang Su, Yujia Zhou, Yiqun Liu, Min Zhang, Qingyao Ai

机构 * Tsinghua University（清华大学） 纠错

专题命中 RAG评测 ：RAG(abstract_cn)；分类 cs.IR、cs.CL；retriever(comments)

AI总结 提出MetaSyn数据集，包含442篇专家策划的元分析，用于评估LLM代理在检索-筛选-综合全流程中的表现，发现当前系统在筛选阶段存在严重瓶颈。

Comments 17 pages, 8 figures, 11 tables. Code and evaluation: https://github.com/THUIR/MetaSyn Dataset: https://huggingface.co/datasets/THUIR/MetaSyn Model: https://huggingface.co/BFTree/MA-Retriever

AgentMemBench: A Systematic Benchmark for Evaluating Long-Term Memory Management Strategies in Conversational AI Agents

AgentMemBench：用于评估对话AI智能体长期记忆管理策略的系统基准

Ahmed Cherif

机构 * Sofrecom（索弗雷科姆） 纠错

专题命中 RAG评测 ：dense retrieval(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建了AgentMemBench基准，评估五种记忆策略及两款现有系统，发现外部键值存储（EKV）在长程对话记忆任务中表现最优，但存在内存占用成本，同时公开了全部可复现资源。

Comments 22 pages, 3 figures submitted on Neural Computing and Applications

Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

无坐标或区域标签的视觉文档理解中的证据归因

Zhuchenyang Liu, Yao Zhang, Yu Xiao

机构 * Aalto University（阿尔托大学） 纠错

专题命中 RAG评测 ：retriever(abstract)；分类 cs.IR、cs.CL

AI总结 研究视觉文档理解中无坐标或区域标签时的证据归因问题，通过对比坐标与语言接口，发现语言接口能提升证据召回率、降低幻觉率。基于此用引述和检索管道作训练框架，引入GRPO方法，提高了模型严格归因准确率，找到改善归因的实用路径。

A Comparative Evaluation of Embeddings and LLMs in a Greek Book Publisher Setting - The CUP Dataset

希腊图书出版商环境中嵌入模型和大语言模型的比较评估 - CUP数据集

Katerina Papantoniou, Panagiotis Papadakos, Theodore Patkos, Dimitris Garefalakis, Nikos Vardakis, Dimitris Plexousakis

机构 * ICS-FORTH（希腊计算机科学与技术研究所） ； Crete University Press（克里特大学出版社） 纠错

专题命中 RAG评测 ：hybrid retrieval(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出希腊图书检索基准CUP数据集，评估稀疏、密集、混合及大语言模型辅助的检索方法，发现多语言嵌入优于希腊特定模型，混合检索最佳，还分析了不同方法在各类查询中的表现及大语言模型相关技术的效果。

Comments Preprint of a manuscript submitted to the 14th EETN Conference on Artificial Intelligence (SETN 2026)

Skill-Contracted Agents for Evidence-Aware Materials Literature Analysis

用于证据感知材料文献分析的技能收缩代理

Bixuan Li, Yu Liu, Shuo Shi, Xiaoya Huang, Peng Kang, Lei Zheng

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL

AI总结 研究针对材料科学文献分析难题，提出技能驱动的AlphaAgent框架，通过明确技能契约解耦任务。其含专门检索技能和报告生成技能，在盲评中显著优于基线系统，提升了文献分析效果。

Comments 9 pages, 5 figures

SAGA: Synthetic Agentic Graph Architecture for Temporal Benchmark Generation

SAGA：用于时间基准生成的合成智能体图架构

Jiacheng Ding, Xiaofei Zhang

机构 * University of Memphis（密苏里大学） 纠错

专题命中 RAG评测 ：RAG(abstract)；分类 cs.AI、cs.DB

AI总结 针对时间图基准稀缺问题，SAGA系统通过四阶段管道生成大规模语义丰富的时间图，其架构解耦结构与语义，能实现结构真实性、语义丰富性和自动异常标注，在单个H100 GPU上高效生成大量带受控异常的时间边。

Prompt-to-Paper: Agentic AI System for Bioinformatics

从提示到论文：用于生物信息学的智能AI系统

Ramsha Kamran, Maheera Amjad, Zartasha Mustansar, Arsalan Shaukat, Salma Sherbaz, Muhammad U. S. Khan

机构 * School of Interdisciplinary Engineering and Sciences (SINES), National University of Sciences and Technology (NUST)（跨学科工程与科学学院（SINES），国立科技大学（NUST）） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有AI自动生成稿件系统的缺陷，提出Prompt-to-Paper多智能体框架。通过检索增强生成、自主编码实验及八维质量评分等创新，经质量驱动改进循环，在生物信息学案例中验证，有效提升稿件质量，成本低且获较好外部评价。

Comments NA

TopoIntent: Compiling Security Intent into Executable, Compliance-Checked Network Topologies

TopoIntent：将安全意图编译为可执行、合规性检查的网络拓扑结构

Xiaokang Qu, Jianliang Ma, Zao Fan, Tianshu Chu, Tianlong Fan, Linyuan Lü

机构 * University of Science and Technology of China（中国科学技术大学） ； Topsec Technologies Group Inc.（天融信科技集团股份有限公司） 纠错

专题命中 RAG评测 ：vector search(abstract)；分类 cs.AI

AI总结 TopoIntent系统通过模式契约、向量搜索和分阶段融合将安全意图编译为合规可执行拓扑，经评估其修复后CIS满意度与ACL通过率均显著提升。