UniMoMo: Expert Merging-Based MoE Acceleration for Large Recommendation Models
UniMoMo:基于专家合并的大推荐模型混合专家(MoE)加速方法
机构 * Kuaishou Technology(快手科技) ; Hohai University(河海大学) ; Wuhan University(武汉大学) ; ByteDance, Seed(字节跳动 Seed) ; Alibaba, Ant Group(阿里巴巴蚂蚁集团) ; ByteDance, Douyin(字节跳动抖音) ; The University of Hong Kong(香港大学) ; Harvard University(哈佛大学)
专题命中 工作流自动化 :workflow(abstract);分类 cs.AI
AI总结 UniMoMo是一种后训练压缩框架,通过功能相似性合并MoE专家并引入层自适应保护,在Amazon Beauty等三个数据集上实现推荐MoE的高效压缩与加速,且性能损失极小。
Comments Preprint