Snowflake

Evaluating AI-based Scientific Knowledge Synthesis with Epidemiological Systematic Reviews

基于流行病学系统评价评估AI科学知识综合

Shreyansh Padarha, Ryan Othniel Kearns, Tristan Naidoo, Lingyi Yang, Łukasz Borchmann, Piotr BŁaszczyk, Christian Morgenstern, Ruth McCabe, Sangeeta Bhatia, Philip H. Torr, Jakob Foerster, Scott A. Hale, Thomas Rawson, Anne Cori, Elizaveta Semenova, Adam Mahdi

机构 * University of Oxford（牛津大学） ； Imperial College London（伦敦帝国理工学院） ； University of Nottingham（诺丁汉大学） ； Snowflake AI Research（Snowflake人工智能研究） ； Independent（独立） 纠错

AI总结 提出AgentSLR评估框架，包含自动化工作流和专家标注数据集，测试LLM在流行病学系统评价各阶段能力，发现无模型全面领先，结构化提取是主要瓶颈。