RAG / 检索增强生成

A Failure-Mode Benchmark for Polymorphic Sybil Poisoning in RAG

RAG中多态性女巫中毒的故障模式基准测试

Donghyun Lee, Juntae Kim

机构 * Department of Computer Engineering（计算机工程系） ； Dongguk University（东国大学） 纠错

专题命中 RAG评测 ：RAG(title,title_cn)；分类 cs.CL、cs.AI

AI总结 该研究发布了用于问答的基准测试和评估框架，划分读者输出类别，介绍多态性女巫中毒攻击，通过对比揭示其危害，还发布了冻结基准、评估工具等。

Comments 17 pages, 2 figures, 11 tables. Corresponding author: Juntae Kim. Dataset and code to be released upon publication

TRIAGE: Trustworthy Retrieval Instrumentation And Graph Evaluation

TRIAGE：可信检索工具与图评估

Axel TahmasebiMoradi, Lucas Schott, Martin Royer

机构 * IRT-SystemX（SystemX研究院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL、cs.AI

AI总结 研究基于LLM驱动自动构建的知识图谱评估问题，引入TRIAGE框架，通过特定阶段指标对知识图谱构建与使用各阶段评估，可定位失败环节并给出改进方向。

DrugAgent: Reliable Multi-Agent Integration of Conflicting Biomedical Evidence for Drug-Target Interaction Assessment

DrugAgent：用于药物-靶点相互作用评估的冲突生物医学证据的可靠多智能体整合

Yoshitaka Inoue, Tianci Song, Xinling Wang, Rui Kuang, Tianfan Fu, Augustin Luna

机构 * Department of Computer Science and Engineering, University of Minnesota（计算机科学与工程系，明尼苏达大学） ； Computational Biology Branch, National Library of Medicine（国家医学图书馆计算生物学分支） ； Khoury College of Computer Sciences, Northeastern University（东北大学计算机科学学院） ； State Key Laboratory for Novel Software Technology at Nanjing University, School of Computer Science, Nanjing University（南京大学新型软件技术国家重点实验室，南京大学计算机科学学院） ； Developmental Therapeutics Branch, National Cancer Institute（国家癌症研究所发育治疗分支） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL、cs.AI

AI总结 研究药物-靶点相互作用评估中整合异构数据问题，核心方法是基于大语言模型的多智能体系统DrugAgent，贡献是能进行异构证据支持的DTI评估，补充独立DTI预测，还提供相关策略。

Agentic and Generative AI for Open-Source Intelligence and Cyber Investigations: Taxonomy, Evaluation, Challenges, and Future Directions

用于开源情报和网络调查的智能与生成式人工智能：分类法、评估、挑战及未来方向

Eduardo Almeida Palmieri, Mohamed Chahine Ghanem, Dipo Dunsin, Zubair Baig, Ed de Quincey, Kim-Kwang Raymond Choo

机构 * School of Computer Science and Mathematics, Keele University（基尔大学计算机科学与数学学院） ； Cybersecurity Institute, University of Liverpool（利物浦大学网络安全研究所） ； Department of Applied Computing IICL, University of Wales Trinity Saint David（威尔士特里尼达大学应用计算系） ； Deakin Cyber Research and Innovation Hub, Deakin University（德金大学网络安全研究与创新中心） ； Department of Information Systems and Cyber Security, The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校信息系与网络安全系） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

AI总结 研究指出公开数字信息增长使人工开源情报分析不足，大语言模型等成解决方案但评估框架滞后。通过综述74项研究，明确智能人工智能类别，找出幻觉验证差距，映射研究到情报生命周期并给出研究议程。

Comments 36 Pages

IRC-Bench: Recognizing Entities from Contextual Cues in First-Person Reminiscences

IRC-Bench: 从第一人称回忆中的上下文线索识别实体

Yehudit Aperstein, Eden Moran, Alexander Apartsin

机构 * Intelligent Systems, Afeka Academic College of Engineering（阿法卡学术工程学院智能系统） ； School of Computer Science, Faculty of Sciences, Holon Institute of Technology（霍隆理工学院计算机科学学院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；dense retrieval(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IRC-Bench基准，用于评估回忆文本中隐式实体识别任务，通过对比本地提及与分散叙述证据，探讨非局部性挑战，测试多种模型配置。

Comments 36 pages, 8 figures

Toward Trustworthy Large Language Model Agents in Healthcare

迈向医疗保健领域值得信赖的大语言模型智能体

Hadi Hasan, Safaa Salman, Adam Tai Abou Dargham, Ammar Mohanna, Ali Chehab

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 针对医疗预约调度瓶颈，提出CareConnect智能体，利用大语言模型函数调用等技术，协调工具支持预约操作，设安全护栏。经评估有高任务完成率、安全合规性及成本效益，能自动化复杂医疗工作流程。

CAGE-1: Control, Assurance, and Governance Evaluation for Enterprise Agentic AI

CAGE-1：企业智能代理人工智能的控制、保证和治理评估

Roopam W. Sure

机构 * Independent technical report（独立技术报告） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 研究企业人工智能从实验转向运营工作流带来的评估问题，介绍CAGE-1评估框架，评估多方面内容，引入预绑定保证，用于判断企业代理是否可部署。

Comments 17 pages, 3 figures; independent technical report