MoSE: Mixture of Slimmable Experts for Efficient and Adaptive Language Models
MoSE: 混合可瘦身专家实现高效自适应语言模型
机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), UAE(Mohamed bin Zayed人工智能大学(MBZUAI)) ; Michigan State University (MSU), USA(密歇根州立大学(MSU)) ; Amazon Science, UK(亚马逊科学)
专题命中 推理评测 :reasoning(abstract);分类 cs.CL、cs.LG
AI总结 提出MoSE架构,每个专家具有可变宽度的嵌套结构,支持在推理时连续调节精度-计算权衡,通过多宽度训练和轻量级测试时训练实现高效自适应。
Comments Accepted to ICML 2026