University of Texas at Austin（得克萨斯大学奥斯汀分校）

Stability of Transformers under Layer Normalization

层归一化下Transformer的稳定性

Kelvin Kan, Xingjian Li, Benjamin J. Zhang, Tuhin Sahai, Stanley Osher, Krishna Kumar, Markos A. Katsoulakis

机构 * UCLA（加州大学洛杉矶分校） ； UT Austin（德克萨斯大学奥斯汀分校） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； SRI International（SRI国际） ； UMass Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

AI总结 本文系统性研究不同层归一化放置下Transformer的前向与反向稳定性，推导相关边界、分析梯度反向传播影响，为残差步长缩放提供指导，其框架可用于检查新型Transformer架构的稳定性。