SARA: Unlocking Multilingual Knowledge in Mixture-of-Experts via Semantically Anchored Routing Alignment
SARA: 通过语义锚定路由对齐解锁混合专家模型中的多语言知识
机构 * TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China(天津大学计算机科学与技术学院TJUNLP实验室) ; Alibaba Group, China(阿里巴巴集团)
专题命中 其他安全 :alignment(title,abstract);分类 cs.CL、cs.AI
AI总结 针对低资源语言在稀疏MoE架构中路由不一致的问题,提出SARA框架,利用对称JS散度约束对齐多语言输入与高资源语义锚点的路由分布,提升低资源语言性能。