Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling
Harmonic: 用于高效长上下文语言建模的分层状态空间模型
机构 * Independent Researcher(独立研究员)
AI总结 提出分层状态空间模型Harmonic,通过堆叠三个不同时间尺度的循环层,每层接收下层预测误差而非原始隐藏状态,在长序列上显著优于Transformer和Mamba,并消除了RoPE位置编码限制。
Comments 12 pages, 8 figures. NeurIPS 2024 format