Same Patient, Different Words, Different Diagnosis? Evaluating Semantic Stability in Clinical LLMs
同一患者,不同措辞,不同诊断?评估临床大语言模型中的语义稳定性
机构 * Department of Computer Science and Engineering, College of Engineering, Qatar University(卡塔尔大学计算机科学与工程系) ; College of Science and Engineering, Hamad Bin Khalifa University (HBKU)(哈马德·本·卡伊夫大学(HBKU)理学院) ; Primary Health Care Corporation (PHCC)(初级卫生保健公司) ; Birmingham City University(伯明翰城市大学)
专题命中 临床大模型 :clinical LLM(title);diagnosis(title)
AI总结 针对临床大语言模型对语义等价但措辞不同的提示敏感的问题,提出基于自然语言推理的语义验证框架和三个量化指标,评估16个开源通用与医学模型,发现领域专业化并不一致地提升或降低鲁棒性。
Comments 14 pages, 5 figures