医学 AI

PhysDox: Benchmarking LLMs on Physical Feasibility Auditing of Physiological Sensing Protocols

PhysDox: 对生理传感协议的物理可行性审计进行LLM基准测试

He Liu, Boyuan Gu, Shuaiqi Cheng, Haiyang Sun, Siyu You, Xuming Hu

专题命中 医学数据与评测 ：diagnosis(abstract)；biomedical(abstract)

AI总结 提出PhysDox基准，通过两阶段评估（严重性检测和约束级诊断）测试LLM对生物医学协议物理可行性的审计能力，发现模型存在支架偏差和隐式约束高漏检率等问题。

Comments 31 Pages,7 Figures

Measuring Model Robustness via Fisher Information: Spectral Bounds, Theoretical Guarantees, and Practical Algorithms

通过Fisher信息度量模型鲁棒性：谱界、理论保证与实用算法

Chong Zhang, Xiang Li, Jia Wang, Qiufeng Wang, Xiaobo Jin

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 医学数据与评测 ：medical image(abstract)；分类 cs.CV、cs.LG

AI总结 提出基于Fisher信息矩阵谱范数的攻击无关鲁棒性度量，理论推导常见架构的闭式谱界，并开发高效估计算法，实验验证其与对抗脆弱性的强相关性。

Comments 35 pages, 1 figure

VAMPS: Visual-Assisted Mathematical Problem Solving Benchmark

VAMPS: 视觉辅助数学问题求解基准

Amirhossein Dabiriaghdam, Shayan Vassef, Mohammadreza Bakhtiari, Yasamin Medghalchi, Ilker Hacihaliloglu, Mesrob Ohannessian, Lele Wang, Giuseppe Carenini

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 医学数据与评测 ：diagnosis(abstract)；分类 cs.CV、cs.LG

AI总结 提出VAMPS基准，通过1,168道双语多选题评估多模态大模型在借助绘图工具进行数学推理时的表现，发现直接解析求解优于工具辅助视觉求解。

MedRedFlag: Investigating how LLMs Redirect Misconceptions in Real-World Health Communication

MedRedFlag：探究LLMs如何在真实健康沟通中纠正误解

Sraavya Sambara, Yuan Pu, Ayman Ali, Vishala Mishra, Lionel Wong, Monica Agrawal

机构 * Independent Researcher（独立研究者） ； Duke University（杜克大学） ； Stanford University（斯坦福大学） 纠错

专题命中 医学数据与评测 ：medical AI(abstract)

AI总结 本研究通过构建MedRedFlag数据集（1100+个来自Reddit的需纠正问题），系统比较了先进LLMs与临床医生的回应，发现LLMs常未能纠正问题中的错误前提，可能导致次优医疗决策，揭示了患者面向医疗AI系统的关键安全漏洞。