Massachusetts Institute of Technology（麻省理工学院）

KAISEN: Reproducible Subgroup Fairness Auditing for Clinical Risk Models

KAISEN：临床风险模型可复现的子群体公平性审计

Sparsh Roy, Samuel Girmachew, Nishita Chavan

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Hopewell Valley Central High School（霍普韦尔谷中央高中） ； East Brunswick High School（东布伦瑞克高中） 纠错

AI总结 KAISEN是一个五阶段临床风险模型子群体公平性审计流程，经合成基准测试揭示了审计各环节的特性与局限性，相关复现资源已公开。

Critical attention scaling in long-context transformers

长上下文Transformer中的关键注意力缩放

Shi Chen, Zhengjiang Lin, Yury Polyanskiy, Philippe Rigollet

机构 * Department of Mathematics, Massachusetts Institute of Technology（数学系，麻省理工学院） ； Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（电气工程与计算机科学系，麻省理工学院） 纠错

AI总结 该研究针对长上下文Transformer的注意力秩崩溃问题，通过分析简化模型确定关键缩放因子$\beta_n \backsim \text{log} n$，为YaRN和Qwen的注意力缩放提供理论依据，阐明对数缩放可维持长上下文下的稀疏内容自适应注意力。

Comments 31 pages, 2 figures

Journal ref Proceedings of the Fourteenth International Conference on Learning Representations (ICLR 2026), 2026