Columbia University（哥伦比亚大学）

Estimating Tail Risks in Language Model Output Distributions

语言模型输出分布中的尾部风险估计

Rico Angell, Raghav Singhal, Zachary Horvitz, Zhou Yu, Rajesh Ranganath, Kathleen McKeown, He He

机构 * Columbia University（哥伦比亚大学） ； Department of Computer Science, New York University（纽约大学计算机科学系） ； Center for Data Science, New York University（纽约大学数据科学中心） 纠错

AI总结 提出一种基于重要性采样的方法，通过创建不安全版本来高效估计语言模型产生有害输出的尾部概率，在10-20倍更少样本下匹配蒙特卡洛估计，并揭示模型对输入的敏感性。

Comments Accepted to ICML 2026

$π$-Attention: Online Efficient Sparse Transformers for Long-Context Modeling

π-注意力：用于高效长上下文建模的周期性稀疏变换器

Pike D. Liu, Chang Liu, Yanxuan Yu

机构 * University of California - Los Angeles（加州大学洛杉矶分校） ； Columbia University（哥伦比亚大学） 纠错

AI总结 本文提出π注意力，通过周期性稀疏结构实现高效长上下文建模，相比环形注意力在接收场增长上更优，且在相同上下文长度下使用更少的GPU。