University of Southern California（南加州大学）

WhiteMatter: All-to-All Cross-Layer Connections via KV Mixing

WhiteMatter：通过KV混合实现全对全跨层连接

Wenbo Zhang, Xiang Ren

机构 * University of Southern California（南加州大学） 纠错

AI总结 WhiteMatter通过将每个注意力层连接到所有过去token的所有层表示，以可变连接权重实现全对全跨层KV混合，在预训练中性能优于多50%层数的普通Transformer，缓存压缩50%仍保留大部分增益。

Comments 15 pages, 8 figures, 3 tables