AMD

ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving

ViBE: 针对MoE服务的工作负载偏斜与硬件变异性协同优化

Seokjin Go, Marko Scrbak, Ephrem Wu, Srilatha Manne, Divya Mahajan

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

AI总结 提出ViBE框架，通过感知硬件的专家放置方法，结合GPU性能建模与专家激活分析，最小化分布式MoE推理中的执行时间不平衡，显著提升SLO达标率并降低P90 TTFT。