Why Post-Norm Transformers Collapse: Attention Amplification and Gradient Repair Failure
后归一化解码器Transformer中秩崩溃的机制诊断
机构 * The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Shenzhen Research Institute of Big Data(深圳大数据研究院)
AI总结 该研究以token相似度为变量,分析后归一化解码器Transformer的秩崩溃机制,发现其前向相似度放大与反向修复无能的特性,实验验证了相关预测。