Routing-Free Mixture-of-Experts
无路由专家混合模型
机构 * Ludwig Maximilian University of Munich(慕尼黑大学) ; University of California, Los Angeles(加州大学洛杉矶分校) ; Munich Center for Machine Learning(慕尼黑机器学习中心)
AI总结 本文提出无路由专家混合模型,通过消除传统集中路由机制,实现专家自主激活,改进资源分配方法,实验表明其在可扩展性和鲁棒性上优于基线模型。
Comments Code is available at https://github.com/liuyilun2000/RoutingFreeMoE/tree/release