Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA
在不确定的地方投入专家:用于专家混合LoRA的置信度自适应路由
机构 * University of California, Irvine(加州大学欧文分校) ; University of Washington(华盛顿大学)
AI总结 研究针对专家混合LoRA路由中简单与困难令牌服务不均问题,提出置信度自适应路由CARE,它以核心方式接纳专家,校准阈值使活跃专家数匹配目标,是单前向传递规则,在多任务中改进效果显著,还提升了分布外检测能力。