ClinDEF: A Dynamic Evaluation Framework for Large Language Models in Clinical Reasoning
ClinDEF: 一种用于大语言模型临床推理的动态评估框架
机构 * ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University(浙江大学杭州全球科技创新中心) ; ZJU-UIUC Institute, Zhejiang University(浙江大学UIUC研究院) ; College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院) ; The Polytechnic Institute, Zhejiang University(浙江大学 polytechnic 院) ; AntGroup(蚂蚁集团)
AI总结 ClinDEF通过模拟诊断对话评估大语言模型的临床推理能力,利用疾病知识图谱生成病例并进行多轮交互,提供细粒度效率分析和诊断质量评估,揭示LLM在临床推理中的关键不足。
Comments 23 pages, 4 figures, under review