Post-Norm can Resharpen Attention
Post-Norm 可增强注意力
机构 * HUN-REN Alfréd Rényi Institute of Mathematics, Budapest, Hungary(匈牙利REN阿弗雷德·雷尼数学研究所) ; University of Rochester, Rochester, NY, USA(罗切斯特大学) ; The University of Alabama, Tuscaloosa, AL, USA(阿拉巴马大学) ; University of Virginia, Charlottesville, VA, USA(弗吉尼亚大学) ; Georgia Institute of Technology, Atlanta, GA, USA(佐治亚理工学院) ; Brigham Young University, Provo, UT, USA(Brigham Young大学) ; Carleton College, Northfield, MN, USA(卡洛尔顿学院)
专题命中 软件智能体 :autonomous agent(abstract);分类 cs.AI、cs.LG
AI总结 Post-Norm通过增强注意力机制,解决Transformer在长度泛化任务中因注意力分散导致的性能下降问题。
Comments 17 pages, 7 figures, 1 table