Exact Flow Linear Attention: Exact Solution from Continuous-Time Dynamics
AI总结 本文提出了一种名为Exact Flow Linear Attention(EFLA)的精确流线性注意力机制,通过将传统的delta-rule线性注意力中的欧拉离散更新替换为精确的闭式解,消除了离散化误差。该方法利用动态矩阵的秩-1结构,实现了参数数量、线性时间复杂度和块并行性的保持,同时提升了模型在噪声输入和高能量输入下的稳定性。实验表明,EFLA在多个基准测试中表现出更强的鲁棒性和性能,优于传统的状态空间模型和欧拉风格基线方法。
Comments 16 pages, 5 figures