Mamba with Hierarchical Memory: Solving Representation Bottleneck in Long Sequence Modeling
带分层记忆的Mamba:解决长序列建模中的表示瓶颈
机构 * The Hong Kong University of Science and Technology(香港科技大学) ; University of Oxford(牛津大学) ; The Chinese University of Hong Kong(香港中文大学) ; City University of Hong Kong(香港城市大学) ; Hainan Bielefeld University of Applied Sciences(海南比勒费尔德应用科学大学) ; BrainGalaxy
AI总结 该研究提出分层记忆Mamba(HMM),通过分层记忆机制解决Mamba类循环线性注意力模型的长序列表示瓶颈,在两项任务上提升性能且参数和训练开销增加极少。
Comments 19 pages, preprint