ServiceNow

DiffuMamba: High-Throughput Diffusion LMs with Mamba Backbone

DiffuMamba：基于Mamba架构的高吞吐量扩散语言模型

Vaibhav Singh, Oleksiy Ostapenko, Pierre-André Noël, Eugene Belilovsky, Torsten Scholak

机构 * ServiceNow Research, Montreal, Canada（ServiceNow研究机构，加拿大蒙特利尔） ； Concordia University（Concordia大学） 纠错

AI总结 DiffuMamba基于Mamba架构，通过结合扩散目标与线性序列建模，实现了高吞吐量的扩散语言模型，在长序列任务中表现出色。

Comments 9 pages, 3 figures