Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
Gated DeltaNet-2：解耦擦除与写入的线性注意力
机构 * NVIDIA
AI总结 本文提出Gated DeltaNet-2，通过引入通道级擦除门和写入门，解耦了线性注意力中擦除与写入的控制，从而在语言模型、常识推理和检索任务中取得了最佳性能，特别是在长上下文检索任务中表现突出。
Comments Gated DeltaNet-2 technical report; code at https://github.com/NVlabs/GatedDeltaNet-2
