RAG / 检索增强生成

IITK at SemEval-2024 Task 2: Exploring the Capabilities of LLMs for Safe Biomedical Natural Language Inference for Clinical Trials

Shreyasi Mandal, Ashutosh Modi

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments Accepted at SemEval 2024, NAACL 2024; 8 Pages

FACTOID: FACtual enTailment fOr hallucInation Detection

Vipula Rawte, S. M Towhidul Islam Tonmoy, Krishnav Rajbangshi, Shravani Nag, Aman Chadha, Amit P. Sheth, Amitava Das

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Evaluating Very Long-Term Conversational Memory of LLM Agents

Adyasha Maharana, Dong-Ho Lee, Sergey Tulyakov, Mohit Bansal, Francesco Barbieri, Yuwei Fang

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments 19 pages; Project page: https://snap-research.github.io/locomo/

Large Multi-Modal Models (LMMs) as Universal Foundation Models for AI-Native Wireless Systems

Shengzhe Xu, Christo Kurisummoottil Thomas, Omar Hashash, Nikhil Muralidhar, Walid Saad, Naren Ramakrishnan

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

How well do LLMs cite relevant medical references? An evaluation framework and analyses

Kevin Wu, Eric Wu, Ally Cassasola, Angela Zhang, Kevin Wei, Teresa Nguyen, Sith Riantawan, Patricia Shi Riantawan, Daniel E. Ho, James Zou

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Enhancing Large Language Model Performance To Answer Questions and Extract Information More Accurately

Liang Zhang, Katherine Jijo, Spurthi Setty, Eden Chung, Fatima Javid, Natan Vidra, Tommy Clifford

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Weaver: Foundation Models for Creative Writing

Tiannan Wang, Jiamin Chen, Qingrui Jia, Shuai Wang, Ruoyu Fang, Huilin Wang, Zhaowei Gao, Chunzhao Xie, Chuou Xu, Jihong Dai, Yibin Liu, Jialong Wu, Shengwei Ding, Long Li, Zhiwei Huang, Xinle Deng, Teng Yu, Gangan Ma, Han Xiao, Zixin Chen, Danjun Xiang, Yunxia Wang, Yuanyuan Zhu, Yi Xiao, Jing Wang, Yiru Wang, Siran Ding, Jiayang Huang, Jiayi Xu, Yilihamu Tayier, Zhenyu Hu, Yuan Gao, Chengfeng Zheng, Yueshu Ye, Yihang Li, Lei Wan, Xinyue Jiang, Yujie Wang, Siyu Cheng, Zhule Song, Xiangru Tang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang, Wangchunshu Zhou

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Evaluating and Enhancing Large Language Models Performance in Domain-specific Medicine: Osteoarthritis Management with DocOA

Xi Chen, MingKe You, Li Wang, WeiZhi Liu, Yu Fu, Jie Xu, Shaoting Zhang, Gang Chen, Kang Li, Jian Li

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments 16 Pages, 7 Figures

Minimizing Factual Inconsistency and Hallucination in Large Language Models

Muneeswaran I, Shreya Saxena, Siva Prasad, M V Sai Prakash, Advaith Shankar, Varun V, Vishal Vaddina, Saisubramaniam Gopalakrishnan

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Making LLMs Worth Every Penny: Resource-Limited Text Classification in Banking

Lefteris Loukas, Ilias Stogiannidis, Odysseas Diamantopoulos, Prodromos Malakasiotis, Stavros Vassos

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments Long paper accepted to ACM ICAIF-23

MemoryLake on MemoryArena: A Matched Study of Agent Memory Backends

基于MemoryArena的MemoryLake研究：智能体记忆后端的匹配对比

Chaoqun Zhan, Qiang Zhou, Guannan Li, Zhenqiang Huang, Qianjin Wang

机构 * MemoryLake Team（MemoryLake团队） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究在MemoryArena的五个任务领域中，对比MemoryLake等三种智能体记忆后端，发现MemoryLake在数学等三个领域成功率最高，整体平均成功率领先，且性能与工作负载相关。

Comments 16 pages, 7 tables

Reconcile Once, Write Anytime: A Trust-Tiered Librarian and a Multi-Agent Writer for Drift-Free, Point-in-Time Research

一次对账，随时撰写：用于无漂移、时点研究的信任分层图书馆与多智能体撰写器

Xing Zhang, Yanwei Cui, Guanghui Wang, Peiyang He

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究提出双层智能体系统，通过信任分层图书馆与多智能体撰写器分离知识库与报告撰写，消除报告矛盾与漂移，实验验证其在多指标、多场景下的有效性与效率优势。

Injection-Execution Dissociation: A Mechanistic Evaluation of Persistent Memory Attacks and Defenses in Stateful LLM Agents

多层架构中的防御效果：对持久内存攻击状态机LLM代理的机制性评估

Jun Wen Leong

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 本文评估了六种防御措施在九个开源模型上的延迟触发攻击效果，发现输入级和检索级过滤器效果不佳，而内存层工具门控（Memory Sandbox）显著降低攻击成功率，揭示了不同防御类别的失效原因。

Comments v4: Added double dissociation (reasoning-mode ablation), content-layer defense (RATG), loaded-corpus frontier evaluation (21 models, 3 providers, N=40), 7B judge capability bound, reproducibility validity criterion, ethics/disclosure statement. Gemini 3.1 Pro Preview 95% ASR; GPT-5.1 regression (22.5%); tripartite vendor divergence. Code: github.com/junwenleong/stateful-agent-security-eval

GuideSkill: Evolving Executable LLM Agent Skills for Guideline-Grounded Clinical Reasoning

GuideSkill：面向基于指南的临床推理的可执行大语言模型智能体技能演化框架

Lang Cao, Yuhao Shen, Tianyang Luo, Simo Du, Hao Peng, Yue Guo

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出与模型无关的GuideSkill框架，通过可执行技能结合指南流程与病例诊断模式，在多基准和骨干模型上显著提升临床推理性能，技能可靠且实用。

Does Faithfulness-Guided Alignment Hurt Accuracy? Unlocking Accurate and Faithful Post-Retrieval Reasoning

CRAFT: 通过强化学习进行多跳问答的校准推理与答案忠实轨迹

Yu Liu, Wenxiao Zhang, Diandian Guo, Cong Cao, Fangfang Yuan, Qiang Sun, Yanbing Liu, Jin B. Hong, Zhiyuan Ma

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

AI总结 CRAFT通过强化学习框架提升多跳问答的推理准确性和答案忠实度，结合确定性奖励和判官奖励，增强推理轨迹的可审计性与语义一致性。

Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation

用于基础设施即代码生成的智能语言模型的验证优先评估

Mohamed Jouini

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对自然语言生成基础设施即代码的问题，对七种智能策略在特定基准测试上进行验证优先评估，通过多种方法得出如主动检索提升性能、迭代优化有收敛效果等五个主要发现，为相关研究提供了重要参考。

Comments 26 pages, 3 figures, 17 tables. Benchmark dataset available at https://huggingface.co/datasets/iac-eval-v2/iac-eval-v2

OntoExtend: A Framework for Requirement-driven and Scalable Ontology Extension with LLMs

OntoExtend：一个用于基于需求驱动和可扩展的大语言模型本体扩展框架

Anna Sofia Lippolis, Mohammad Javad Saeedizade, Stefan Schmid, Simon Blattner, Robin Keskisärkkä, Aldo Gangemi, Eva Blomqvist, Andrea Giovanni Nuzzolese

机构 * Linköping University（林雪平大学） ； University of Bologna（博洛尼亚大学） ； Bosch（博世公司） ； ISTC-CNR（意大利国家研究委员会信息科学与技术研究所） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 研究基于需求驱动的本体扩展问题，提出用检索增强生成的OntoExtend框架，通过在相关输入本体和需求上应用该框架，在两个用例的能力问题上评估，结果显示其可作为现实场景中本体扩展起草助手，对问题特异性和建模概要敏感。

Comments Accepted in research track of Semantics 2026: https://2026-eu.semantics.cc/page/accepted_research

Optimizing Visibility in Generative Engines: A Critical Survey of Generative Engine Optimization (2023-2026)

优化生成引擎中的可见性：生成引擎优化的批判性综述（2023 - 2026）

Olivier Martinez

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR

AI总结 该研究对2023年11月至2026年有关生成引擎优化的45项研究进行批判性综述，指出其术语等存在异质性。贡献多阶段形式模型等，表明虽有成果但证据有限，未显示技术对有机可发现性等有稳定因果效应。

Comments 18 pages, 8 tables, 1 figure; critical survey of 45 studies; ancillary literature matrix and search protocol included

First, do NOHARM: a medical safety benchmark and randomized study of physician and AI teaming on clinical consultations

首先，不伤害：迈向临床安全的大语言模型

David Wu, Fateme Nateghi Haredasht, Saloni Kumar Maharaj, Priyank Jain, Jessica Tran, Matthew Gwiazdon, Arjun Rustagi, Jenelle Jindal, Jacob M. Koshy, Vinay Kadiyala, Anup Agarwal, Bassman Tappuni, Brianna French, Sirus Jesudasen, Christopher V. Cosgriff, Rebanta Chakraborty, Jillian Caldwell, Susan Ziolkowski, David J. Iberri, Robert Diep, Rahul S. Dalal, Kira L. Newman, Kristin Galetta, J. Carl Pallais, Nancy Wei, Kathleen M. Buchheit, David I. Hong, Vartan Pahalyants, Ernest Y. Lee, Allen Shih, Tamara B. Kaplan, Vishnu Ravi, Sarita Khemani, Thomas A. Buckley, April S. Liang, Daniel Shirvani, Advait Patil, Nicholas Marshall, Kanav Chopra, Joel Koh, Adi Badhwar, Anastasia Perez, Austin J. Schoeffler, Mahbuba Tusty, Chase M. Walton, Liam G. McCoy, David J. H. Wu, Yingjie Weng, Sumant Ranji, Kevin Schulman, Nigam H. Shah, Jason Hom, Arnold Milstein, Arjun K. Manrai, Adam Rodman, Jonathan H. Chen, Ethan Goh

机构 * Harvard Combined Dermatology Program（哈佛联合皮肤科项目） ； Department of Dermatology, Mass General Brigham（麻省总医院皮肤科） ； Harvard Medical School（哈佛医学院） ； Stanford Center for Biomedical Informatics Research（斯坦福生物医学信息学研究中心） ； Stanford University（斯坦福大学） ； Division of Hospital Medicine, Department of Medicine, Stanford University School of Medicine（斯坦福大学医学院医院医学科） ； Department of Medicine, Cambridge Health Alliance（剑桥健康联盟医学科） ； Beth Israel Deaconess Hospital–Plymouth（贝塞斯达德acons医院-普利茅斯） ； Department of Medicine, University of California, San Francisco（加州大学旧金山分校医学科） ； Department of Neurology, Stanford University School of Medicine（斯坦福大学医学院神经科） ； Department of Medicine, Beth Israel Deaconess Medical Center（贝塞斯达德acons医学中心医学科） ； Division of Cardiology, Department of Medicine, Cambridge Health Alliance（剑桥健康联盟心脏病科） ； Department of Cardiovascular Medicine, Summa Health System（Summa健康系统心血管医学科） ； Division of Allergy, Pulmonary, and Critical Care Medicine, Department of Medicine, University of Wisconsin-Madison（威斯康星大学麦迪逊分校医学科过敏、呼吸科和危重医学科） ； Division of Pulmonary and Critical Care Medicine, Department of Medicine, Massachusetts General Hospital（麻省总医院呼吸科和危重医学科） ； Center for Immunology and Inflammatory Diseases, Department of Medicine, Massachusetts General Hospital（麻省总医院免疫和炎症疾病中心） ； Broad Institute of MIT and Harvard（MIT和哈佛Broad研究所） ； Division of Pulmonary, Critical Care, and Sleep Medicine, Cambridge Health Alliance（剑桥健康联盟呼吸科、危重医学科和睡眠医学科） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 提出NOHARM基准，包含1100个初级到专科咨询案例，评估28个LLM的医疗建议安全性，发现高达22.6%的案例存在严重危害风险，其中遗漏错误占80%以上。

Toward Trustworthy Large Language Model Agents in Healthcare

迈向医疗保健领域值得信赖的大语言模型智能体

Hadi Hasan, Safaa Salman, Adam Tai Abou Dargham, Ammar Mohanna, Ali Chehab

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 针对医疗预约调度瓶颈，提出CareConnect智能体，利用大语言模型函数调用等技术，协调工具支持预约操作，设安全护栏。经评估有高任务完成率、安全合规性及成本效益，能自动化复杂医疗工作流程。

CLAP: Closed-Loop Training, Evaluation, and Release Control for Domain Agent Post-training

CLAP：领域智能体后训练的闭环训练、评估与发布控制

Fangfei Li, Chenyang Zhao, Long Wang, Feng Tian, Zhiyue Zheng, Lv Guo

机构 * MatrixOrigin（矩阵起源） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 提出CLAP闭环方法，通过数据验证、奖励/KL诊断、离线门控和应用链回放，在制造场景中评估后训练效果，发现仅部分批次提升且存在KL风险，支持集成循环管理。

Comments 6 pages, 1 figure. Accepted to CRAE 2026; to appear in SPIE Proceedings. Best Poster Award

Relevance Is Not Permission: Warranted Attention for Value Contributions

相关性并非许可：价值贡献的应有注意

Minwoo Yu, Young-guk Ha

机构 * Smart Computing Laboratory, Department of Computer Science & Engineering, Konkuk University（智能计算实验室，计算机科学与工程系，康肯大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 针对注意力机制中相关项的价值贡献未必成为预测证据的问题，提出Warrant接口，通过学习查询-项许可来调节价值路径，在多个任务上提升主指标。

An Industrial-Scale Insurance LLM Achieving Verifiable Domain Mastery and Hallucination Control without Competence Trade-offs

一个工业级保险大语言模型，实现可验证的领域掌握与幻觉控制，无能力权衡

Qian Zhu, Xinnan Guo, Jingjing Huo, Jun Li, Pan Liu, Wenyan Yang, Wanqing Xu, Xuan Lin

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL

AI总结 提出INS-S1保险专用大语言模型，通过可验证数据合成系统和渐进式SFT-RL课程框架，在领域任务上达到SOTA，同时保持通用能力并实现0.6%的低幻觉率。

Comments 21 pages, 12 figures, 17 tables

Journal ref ICLR 2026 Workshop Advances in Financial AI

Automated Root-Cause Subclassification and No-Code Fix Generation for Invalid Bug Reports

自动化无效bug报告的根因子类划分及无代码修复生成

Mahmut Furkan Gon, Emre Dinc, Tevfik Emre Sungur, Eray Tuzun

机构 * Department of Computer Engineering, Bilkent University（计算机工程系，比尔肯特大学） 纠错

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 本研究旨在引入一个标准化的根因导向的无效bug报告子类划分体系，并通过实验测试不同方法在无效子类划分和无代码修复生成中的准确性。研究还分析了不同配置在我们创建的黄金标准基准上的表现。

Comments Submitted to IEEE Transactions on Software Engineering (TSE) and currently under review

ForeSci: Evaluating LLM Agents for Forward-Looking AI Research Judgment

ForeSci: 评估LLM智能体在前瞻性AI研究判断中的能力

Qiuyu Tian, Haojie Yin, Yingce Xia, Youyong Kong, Zequn Liu

机构 * Southeast University（东南大学） ； Beijing Zhongguancun Academy（北京中关村学院） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 提出ForeSci基准，通过时间控制的500个任务评估LLM智能体基于历史证据做出前瞻性研究判断的能力，发现证据与决策脱节问题。

Extending AI for Research to the Humanities: A Multi-Agent Framework for Evidence-Grounded Scholarship

将人工智能研究扩展到人文学科：一个用于证据基础学术的多智能体框架

Yating Pan, Jiajun Zhang, Jun Wang, Qi Su

机构 * Department of Information Management（信息管理系） ； Research Center for Digital Humanities（数字人文研究中心） ； School of Foreign Languages（外国语言学院） ； Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL

AI总结 提出SPIRE多智能体框架，通过将人文学科操作建模为协作智能体角色，结合多尺度细读检索，实现基于证据的论证，在古典文献基准上优于现有方法。

Comments 28 pages, 3 figures. Code, data catalogues, and reproduction scripts: https://github.com/YatingPan/SPIRE. Lead corresponding author: Jun Wang; corresponding author: Qi Su

MemoNoveltyAgent: A Historical Research Memory-Aware Agent Workflow for Paper Novelty Assessment

MemoNoveltyAgent：一种用于论文新颖性评估的历史研究记忆感知智能体工作流

Jiajun Hou, Hexuan Deng, Wenxiang Jiao, Xuebo Liu, Xiaopeng Ke, Derek F. Wong, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（计算与智能研究院，哈尔滨工业大学深圳校区，中国） ； Xiaohongshu Inc.（小红书公司） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； NLP 2 CT Lab, Department of Computer and Information Science, University of Macau, China（自然语言处理2实验室，计算机与信息科学系，澳门大学，中国） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL

AI总结 提出MemoNoveltyAgent多智能体系统，通过分层抽象记忆、细粒度新颖点分解和自验证机制，生成忠实的新颖性报告，在评估中比GPT-5 DeepResearch提升13.69%。

SortingHat: Redefining Operating Systems Education with a Tailored Digital Teaching Assistant

SortingHat: 用定制的数字教学助手重新定义操作系统教育

Yifan Zhang, Xinkui Zhao, Zuxin Wang, Zhengyi Zhou, Guanjie Chen, Shuiguang Deng, Jianwei Yin

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） 纠错

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 针对操作系统课程教学挑战，提出结合检索增强生成和多智能体强化学习的3D数字人教学助手SortingHat，提供个性化指导、自适应内容生成和自动评估。

Journal ref WWW '25: Companion Proceedings of the ACM on Web Conference 2025,Pages 2951 - 2954

LLM-FACETS: A Privacy-Preserving Framework for Evaluating LLM Transparency and Accountability

LLM-FACETS：一个保护隐私的评估LLM透明度和问责制的框架

Tom Lucas, Alessio Buscemi, Alfredo Capozucca, German Castignani, Barbara Delacroix

机构 * Luxembourg Institute of Science and Technology (LIST)（卢森堡科学与技术研究所） ； University of Luxembourg（卢森堡大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 提出一个开源框架LLM-FACETS，通过浏览器界面和插件架构，为技术专家、领域专家和合规官员提供隐私保护的LLM评估，实现透明度与问责制。

Comments Submitted to ACM Journal on Responsible Computing, Special Section: Collaborative Methods and Tools for Engineering and Evaluating Transparency in AI. 28 pages 9 figures, 7 tables, 1 algorithm. Source code: https://github.com/Scriptor-Group/AIMVi

FDABench: A Benchmark for Data Agents on Analytical Queries over Heterogeneous Data

FDABench：异构数据上分析查询的数据代理基准

Ziting Wang, Shize Zhang, Haitao Yuan, Jinwei Zhu, Wei Dong, Gao Cong

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.DB

AI总结 提出FDABench基准，通过2007个任务覆盖六种数据模态，并设计PUDDING框架自动构建数据集，以评估数据代理在异构数据上的推理能力。