FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models
FourierMoE:大型语言模型的傅里叶混合专家适应
机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出傅里叶MoE,通过频域分析提升大语言模型在多任务适应中的性能,采用频域适应方法减少参数开销,实验证明其在单任务和多任务场景中均优于基线方法。
Comments The first two authors contributed equally to this work; listing order is random