Leave it to the Specialist: Repair Sparse LLMs with Sparse Fine-Tuning via Sparsity Evolution
交给专家:通过稀疏性演化进行稀疏微调修复稀疏大语言模型
机构 * Eindhoven University of Technology(埃因霍温理工大学) ; University of Cambridge(剑桥大学) ; University of Luxembourg(卢森堡大学) ; University of Twente(埃因霍温理工大学) ; University of Surrey(萨里大学) ; Tübingen AI Center(图宾根人工智能中心) ; Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所) ; ELLIS Institute Tübingen(图宾根ELLIS研究所)
AI总结 提出稀疏演化微调(SEFT)框架,通过周期性重分配稀疏任务特定更新和重新激活有益剪枝权重,在保持稀疏性效率优势的同时实现稀疏大语言模型的有效下游任务适配。