Gating Enables Curvature: A Geometric Expressivity Gap in Attention
门控使曲率:注意力中的几何表达性差距
机构 * Department of Electrical and Computer Engineering(电气与计算机工程系) ; University of Southern California(南加州大学)
AI总结 研究揭示门控注意力机制在几何表达性上的优势,通过分析高斯分布均值参数的几何结构,发现门控能产生非平坦流形,提升模型表现,尤其在非线性决策边界任务中表现更佳。
Comments 41 pages, 9 figures