EPFL（洛桑联邦理工学院）

Raven: High-Recall Sequence Modeling with Sparse Memory Routing

Raven：通过稀疏内存路由实现高召回率序列建模

Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

机构 * EPFL（洛桑联邦理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Cartesia AI（卡泰西亚人工智能公司） 纠错

AI总结 研究针对线性时间序列模型长上下文召回权衡问题，提出Raven模型，通过固定内存插槽和依赖输入的路由，减轻SWA和SSMs的不足，在召回密集基准测试中表现出色，外推时也保持有效。