SPRI: SVD-Partitioned Residual Initialization for Data-Constrained MoE Upcycling
SPRI: 基于SVD分解残差初始化的数据受限MoE升级方法
机构 * Northeastern University, China(东北大学) ; Huawei TSC, China(华为技术有限公司) ; CUHK-Shenzhen, China(香港中文大学(深圳)) ; University of Maryland, USA(马里兰大学) ; Harbin Engineering University, China(哈尔滨工程大学) ; Inclusion AI, Ant Group(蚂蚁集团Inclusion AI) ; NiuTrans Research, China(小牛翻译研究中心)
AI总结 提出SPRI方法,利用预训练FFN权重的SVD分解残差初始化MoE专家,结合两阶段训练策略,在数据受限的多语言语音翻译任务中显著提升性能。
Comments 8pages, 12 tables, 3 figures