Half the Experts, All the Code: One-Shot Domain Pruning of Mixture-of-Experts LLMs for Coding
一半的专家,全部的代码:用于编码的专家混合语言模型的一次性领域剪枝
专题命中 软件智能体 :agentic(abstract);分类 cs.LG
AI总结 研究针对编码任务的专家混合语言模型,通过五种策略对两个模型进行剪枝,探究能移除多少及哪些专家。发现移除一半专家在代码基准测试无损失,损害多在编码外,但获胜策略因模型而异,还揭示了困惑度等问题及剪枝与量化的关系,强调需 per - model 验证。
Comments 15 pages, 3 figures. Code and pruned checkpoints: github.com/anik-jha/moep