Columbia University（哥伦比亚大学）

On the Relationship Between Activation Outliers and Feature Death in Sparse Autoencoders

关于稀疏自编码器中激活异常值与特征死亡之间关系的研究

Elana Simon, Etowah Adams, James Zou

机构 * Stanford University（斯坦福大学） ； Columbia University（哥伦比亚大学） 纠错

AI总结 本文通过理论分析和实验验证，揭示了稀疏自编码器中维度级激活异常值导致特征死亡的机制，并提出均值中心化预处理方法有效消除该问题。

Comments Accepted to ICML 2026 main conference

Fixed Universal Transformers

固定通用Transformer

Jingwen Liu, Alexandr Andoni, Daniel Hsu

机构 * Columbia University（哥伦比亚大学） 纠错

AI总结 提出固定通用Transformer，通过输入嵌入模拟任意给定类别的Transformer，证明其通用性在足够大嵌入维度下可通过稀疏结构实现，且随机初始化几乎必然通用，实验验证了理论。

Evidence for systematic semantic structure in individual phonemes

单个音素中系统性语义结构的证据

Gexin Zhao

机构 * Columbia University（哥伦比亚大学） 纠错

AI总结 本研究通过大型语言模型、跨语言听者实验和发音特征分析，证明英语单个音素携带结构化的多维语义轮廓，挑战了音义关系任意性的传统假设。

Comments 31 pages, 4 figures