KV-Skill: Forging Expertise in the Model's Native Language
KV-Skill:在模型的原生语言中锻造专业技能
机构 * University of Michigan(密歇根大学)
AI总结 该研究提出KV-Skill,通过外部因子化算子存储任务知识,在多基准测试中提升了模型在LiveMath等任务上的准确率,且可独立加载多个技能无明显遗忘。
Comments 17 pages, 4 figures, 18 tables. Zhaowei Han and Xiang Zhang contributed equally to this work. Code: https://github.com/shawnzhg/KV-Skill