Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior
潜在循环Transformer:架构探索、训练策略与扩展行为
机构 * Microsoft(微软公司) ; University of Wisconsin-Madison(威斯康星大学麦迪逊分校) ; University of Washington(华盛顿大学)
AI总结 提出潜在循环Transformer(LRT),通过跨层循环潜在路径重用前一token的高层隐藏状态作为记忆,在不增加暂停token或额外深度循环的情况下,以约2倍基线计算实现并行训练,在匹配有效计算下提升语言建模损失和上下文学习能力,仅增加0.3%参数。