Princeton University（普林斯顿大学）

Deep Delta Learning

深度delta学习

Yifan Zhang, Yifeng Liu, Mengdi Wang, Quanquan Gu

机构 * Princeton University（普林斯顿大学） ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

AI总结 本文提出深度delta学习，通过选择性重写残差内容提升语言模型性能，改进了Transformer残差流的更新机制。

Comments Project Page: https://github.com/yifanzhang-pro/deep-delta-learning