Harvard University（哈佛大学）

Why Depth Matters in Parallelizable Sequence Models: A Lie Algebraic View

为什么深度在可并行化序列模型中重要：一个李代数视角

Gyuryang Heo, Timothy Ngotiaoco, Kazuki Irie, Samuel J. Gershman, Bernardo L. Sabatini

机构 * Howard Hughes Medical Institute, Department of Neurobiology, Harvard Medical School（霍华德·休斯医学研究所，哈佛医学院神经生物学系） ； Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（自然与人工智能研究学院，哈佛大学） ； Department of Psychology and Center for Brain Science, Harvard University（心理学系和脑科学中心，哈佛大学） 纠错

AI总结 从李代数控制视角，研究可并行化序列模型（如Transformer变体和状态空间模型）的表达能力与深度关系，证明误差随深度增加呈指数下降。

Comments v2: Format update; split former Theorem 3.4 into Theorem 3.4 and Corollary 3.5 for clarity; corrected an indexing error affecting Corollary 3.6, Proposition 3.7, and Figure 2