Adaptive and Fine-grained Module-wise Expert Pruning for Efficient LoRA-MoE Fine-Tuning
自适应和细粒度模块级专家剪枝用于高效的LoRA-MoE微调
机构 * School of Computer Science and Technology, University of Science and Technology of China, China(计算机科学与技术学院,中国科学技术大学) ; Suzhou Institute for Advanced Research, University of Science and Technology of China, China(苏州先进研究院,中国科学技术大学)
专题命中 逻辑推理 :reasoning(abstract);分类 cs.LG
AI总结 本文提出DMEP框架,通过动态模块级专家剪枝优化LoRA-MoE微调,减少冗余参数并提升训练效率,实验表明在多个推理基准上参数减少35%-43%,训练吞吐量提升约10%。