University of Washington（华盛顿大学）

Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension

基础的裂痕：看似微小的架构选择会影响长上下文扩展

Amanda Bertsch, Luca Soldaini, Matthew R. Gormley, Graham Neubig, Hannaneh Hajishirzi, Kyle Lo, Dirk Groeneveld

机构 * Ai2 ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

AI总结 该研究发现，Olmo、Llama、Qwen等稠密模型系列的四个微小架构决策会复合降低长上下文性能，结合三个及以上选择可使性能降47%，经17万余GPU小时训练发布OlmPool，其部分模型长上下文性能优于Llama 3。

Comments 29 pages; accepted to COLM 2026

Off-Axis, On Purpose: Where a Transformer Computes Concepts and Why it Does So

离轴，出于目的：Transformer在何处计算概念以及为何如此计算

Mark Oskin

机构 * University of Washington（华盛顿大学） ； School of Computer Science and Engineering（计算机科学与工程学院） 纠错

AI总结 该研究揭示Transformer分两阶段计算，概念阶段采用与读取轴近乎正交的子空间，强制该几何结构可提升稀疏旋转的收敛性，且不损害语言建模基准性能。