Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference
语言模型需要睡眠吗?用于改进在线推理的离线循环
机构 * Carnegie Mellon University(卡内基梅隆大学) ; University of Maryland(马里兰大学)
AI总结 本文提出一种类似睡眠的巩固机制,通过离线循环将上下文转换为快速权重,以解决Transformer注意力机制随上下文长度扩展性差的问题,并在合成任务和数学推理任务上验证了其有效性。