Multi-Headed Transformer Architectures as Time-dependent Wasserstein Gradient Flows
多头变压器架构作为时间依赖的Wasserstein梯度流
机构 * Department of Applied Mathematics and Theoretical Physics, University of Cambridge(应用数学与理论物理系,剑桥大学) ; Department of Mathematics, University of Twente(数学系,埃因霍温理工大学)
AI总结 本文提出将多头变压器架构中的数据流建模为时间依赖的Wasserstein梯度流,以捕捉注意力机制的设计,并证明了在合适积分性假设下,梯度流的ω-极限集元素是交互能量的稳态点,同时分析了梯度流的稳定性,并通过数值实验验证了预测的能量耗散身份和动力学的渐近行为。