Case-Specific Rubrics for Clinical AI Evaluation: Methodology, Validation, and LLM-Clinician Agreement Across 823 Encounters
针对具体病例的评估量表:方法、验证及LLM与医生一致性的823次病例研究
机构 * Canvas Medical ; Department of Biomedical Data Science, Stanford University(斯坦福大学生物医学数据科学系) ; XPC (X Primary Care)(XPC(X初级保健)) ; FCA Consulting(FCA咨询) ; Department of Pediatrics, University of Nevada, Reno, NV, USA(内华达大学拉斯维加斯分校儿科系)
专题命中 医学数据与评测 :clinical AI(title,abstract)
AI总结 本文提出针对具体病例的评估量表方法,验证了LLM生成的量表在医生一致性上的有效性,展示了在823次病例中医生与LLM的一致性提升。
Comments 14 pages, 2 figures, 3 tables, submitted to JAMIA