MixFormer: Linear Transformer with Mixture of Memory Experts
MixFormer：带有记忆专家混合体的线性Transformer
机构 * School of Computer Science, Sichuan University（四川大学计算机学院） ； School of Artificial Intelligence, Sichuan University（四川大学人工智能学院）
专题命中 其他图像生成 ：image generation(abstract)
AI总结 针对现有线性Transformer主流方向状态空间模型的输入适应性与内存容量局限，论文提出带记忆专家混合体和时间感知线性注意力的MixFormer，在长序列生成任务上实现性能提升，为下一代网络基础设施提供更可持续的计算主干。
Comments 17 pages, 9 figures, and 4 tables
