FPMoE: A Sparse Mixture-of-Experts Approach to Functional Code Generation
FPMoE:一种用于函数式代码生成的稀疏混合专家方法
机构 * GreenNode AI ; Hanoi University of Science and Technology(河内科学技术大学) ; Singapore University of Technology and Design(新加坡科技设计大学)
专题命中 代码生成 :code generation(title,abstract);分类 cs.CL、cs.AI、cs.PL
AI总结 针对LLM在函数式编程语言上性能差的问题,提出基于稀疏MoE架构的FPMoE模型,通过语言特定专家和共享专家分别消除干扰和捕获跨语言抽象,以3B活跃参数达到远超微调基线并匹配大模型的效果。