Gradient Flow Polarizes Softmax Outputs towards Low-Entropy Solutions
梯度流使Softmax输出向低熵解极化
机构 * Theory of Machine Learning Lab, EPFL(机器学习理论实验室,苏黎世联邦理工学院)
AI总结 本文研究了基于Softmax模型的梯度流动态,揭示其驱动优化向低熵解发展,并探讨了其在Transformer训练中的普遍性和实际影响。
Comments 35 pages, 21 figures