Imperial College London（帝国理工学院）

Addressing Benchmarking Gaps in Large Language Models for Health and Medicine with Dynamic Red-Teaming

超越基准：动态、自动和系统化的红队代理用于可信的医疗语言模型

Jiazhen Pan, Bailiang Jian, Paul Hager, Yundi Zhang, Che Liu, Friederike Jungmann, Hongwei Bran Li, Julian Canisius, Chenyu You, Junde Wu, Jiayuan Zhu, Fenglin Liu, Yuyuan Liu, Niklas Bubeck, Moritz Knolle, Chen, Chen, Christian Wachinger, Zhenyu Gong, Cheng Ouyang, Georgios Kaissis, Benedikt Wiestler, Daniel Rueckert

机构 * Technical University of Munich (TUM)（慕尼黑技术大学） ； University of Oxford（牛津大学） ； TUM University Hospital（慕尼黑技术大学医院） ； Imperial College London（伦敦帝国理工学院） ； Harvard Medical School（哈佛医学院） ； Stony Brook University（史泰兹布鲁克大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； University of Sheffield（谢菲尔德大学） 纠错

AI总结 本文提出DAS红队框架，通过动态压力测试揭示医疗语言模型在鲁棒性、隐私、偏见和幻觉方面的潜在风险，发现高静态基准性能与低动态可靠性之间的'基准差距'。