Test-Time Training with KV Binding Is Secretly Linear Attention
测试时训练与KV绑定实际上是秘密的线性注意力
机构 * NVIDIA, Toronto, Ontario, Canada(NVIDIA,多伦多,安大略省,加拿大) ; University of Toronto, Toronto, Ontario, Canada(多伦多大学,多伦多,安大略省,加拿大) ; Vector Institute, Toronto, Ontario, Canada(向量研究所,多伦多,安大略省,加拿大) ; Technion -- Israel Institute of Technology, Haifa, Israel(技术ion -- 以色列理工学院,海法,以色列)
AI总结 本文揭示测试时训练与KV绑定实际上是学习的线性注意力,而非记忆,提出简化架构、并行计算和统一模型形式的改进方法。
Comments ICML 2026, Webpage: https://research.nvidia.com/labs/sil/projects/tttla/