The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity
注意力陷阱的结构起源:方差差异、超级神经元和维度不均等
机构 * The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Huawei Foundation Model Department(华为基础模型部门)
AI总结 本文揭示了大语言模型中注意力陷阱现象的结构成因,通过分析自注意力机制中的方差差异和前馈网络中超级神经元的激活,证明了维度不均等导致注意力陷阱的形成,并提出head-wise RMSNorm架构改进以稳定值聚合。
Comments Accepted to ICML 2026