ETH Zurich（苏黎世联邦理工学院）

Surprisal Theory is Tautological (without Rational Grounding)

惊奇理论是同义反复的（缺乏理性基础）

Ryan Cotterell

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

AI总结 研究惊奇理论，指出其在无额外约束时是同义反复，任何难度模式都与某语言模型一致，无法证伪。长期被隐含假设掩盖，近期实证削弱该假设。结论是打破同义反复需理性主义干预，相关语言模型应源自非经验驱动模型。

Comments Under "Review" at ARR

ConfidenceBench: Evaluating Confidence Calibration in Large Language Models

ConfidenceBench：评估大语言模型中的置信度校准

Matthew ffrench-Constant, Daniel Yang, Xinmeng Huang, Sanyam Kapoor

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Pennsylvania（宾夕法尼亚大学） ； New York University（纽约大学） 纠错

AI总结 研究针对大语言模型在特定场景下仅靠准确性不足的问题，提出ConfidenceBench校准基准，用Brier分数评估15个前沿LLMs口头置信度，经实验发现模型准确性与校准差异大，证明口头置信度校准是LLM可靠性重要维度，补充了基于准确性的评估。

Marking the Wrong Symptoms: Evaluating LLM Watermarks in Medical Texts

标记错误症状：评估医学文本中的大语言模型水印

Melanie Rieff, Robin Staab, Thibaud Gloaguen, Stefan Hegselmann, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） ； Berlin Institute of Health at Charité – Universitätsmedizin Berlin（柏林夏里特医学院柏林健康研究所） ； Deutsches Herzzentrum der Charité – Medical Heart Center of Charité and German Heart Institute Berlin（柏林夏里特医学院德国心脏中心与柏林德国心脏研究所） 纠错

AI总结 研究LLM水印对医学性能的影响，在11个LLM和7个VLM上对5种水印方案进行多任务基准测试，引入人类专家验证管道补充评估，发现水印会致多种退化，特定领域评估是医学中水印模型安全部署的前提。

Making Open-Source Text LLM Watermarks Durable Against Merging

使开源文本语言模型水印在合并后仍具耐久性

Luisa Scharff, Thibaud Gloaguen, Robin Staab, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 研究如何让开源文本语言模型水印在模型合并后仍具耐久性，提出合并对抗训练算法，该算法能将水印融入模型权重，在保留下游能力的同时优于所有基线，还评估了针对现实合并场景的水印，表明对抗训练可提高水印耐久性。