代码大模型 / AI 编程

On Subquadratic Architectures: From Applications to Principles

关于次二次架构：从应用到原理

Anamaria-Roberta Hartl, Levente Zólyomi, David Stap, Pieter-Jan Hoedt, Niklas Schmidinger, Lukas Hauzenberger, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

机构 * ELLIS Unit Linz, LIT AI Lab, Institute for Machine Learning, Johannes Kepler University Linz（林茨ELLIS单元、LIT AI实验室、机器学习研究所、约翰内斯·开普勒大学林茨） ； NVIDIA（英伟达） 纠错

专题命中 其他AI编程 ：code model(abstract)；分类 cs.LG

AI总结 本文比较了xLSTM、Mamba-2和Gated DeltaNet三种次二次架构，发现xLSTM在代码预训练、蒸馏和时间序列预训练中表现最佳，其优势源于灵活稳定的门控记忆校正机制。