Princeton University（普林斯顿大学）

T^2MLR: Transformer with Temporal Middle-Layer Recurrence

T^2MLR：具有时间中层循环的Transformer

Ziyang Cai, Xingyu Zhu, Yihe Dong, Yinghui He, Sanjeev Arora

机构 * Princeton University（普林斯顿大学） 纠错

AI总结 研究针对Transformer推理受自回归解码限制问题，提出T2MLR架构，将前token缓存中间层表示融合到当前token较早层，在自然语言预训练和多跳推理微调中表现优，且局部中层块应用循环效果好，还无需从头预训练，降低实际应用门槛。