Coupled Query-Key Dynamics for Attention
注意力的耦合查询-键动态
机构 * Technion – Israel Institute of Technology(以色列理工学院) ; ISTA – Institute of Science and Technology Austria(奥地利科学技术研究所)
AI总结 本文提出耦合QK动态机制,通过共享学习动态改进语言模型 perplexity 和训练稳定性,在WikiText-103上取得显著提升,且在不同数据集上表现出差异性效果。