University of Southern California（南加州大学）

WhiteMatter: All-to-All Cross-Layer Connections via KV Mixing

WhiteMatter：通过KV混合实现全对全跨层连接

Wenbo Zhang, Xiang Ren

机构 * University of Southern California（南加州大学） 纠错

AI总结 WhiteMatter通过将每个注意力层连接到所有过去token的所有层表示，以可变连接权重实现全对全跨层KV混合，在预训练中性能优于多50%层数的普通Transformer，缓存压缩50%仍保留大部分增益。

Comments 15 pages, 8 figures, 3 tables

Topological Simplification in Predictive Coding Networks

预测编码网络中的拓扑简化

Adam Shaw, Jiayu Li, Michael Sperling, Michael Kim, Alvin Jin

机构 * University of Southern California（南加州大学） 纠错

AI总结 该研究用分层持续同调分析，发现预测编码网络（PCNs）的模型规模、简化深度与重构误差、架构类型影响其连通分量合并时机，揭示了PCNs压缩-重构权衡的相关规律。

Comments Accepted to the 2nd Annual Conference on Topology, Algebra, and Geometry in Data Science (TAG-DS 2026); to appear in Proceedings of Machine Learning Research