Snowflake

MoE-Prefill: Zero Redundancy Overheads in MoE Prefill Serving

MoE-Prefill: 在MoE预填服务中实现零冗余开销

Zhaoyuan Su, Olatunji Ruwase, Karthik Ganesan, Aurick Qiao, Samyam Rajbhandari, Juncheng Yang, Yue Cheng, Yuxiong He

机构 * University of Virginia（弗吉尼亚大学） ； Snowflake AI Research（Snowflake AI研究院） ； Harvard University（哈佛大学） 纠错

AI总结 本文提出MoE-Prefill系统，通过异步专家并行策略优化MoE预填服务，提升吞吐量和GPU利用率，实现在实际和长上下文合成工作负载中的性能提升。

Comments 19 pages, 12 figures, 4 tables