JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models
JumpLoRA: 大型语言模型中持续学习的稀疏适配器
机构 * Bitdefender(Bitdefender公司) ; ETH Zurich(苏黎世联邦理工学院) ; University of Bucharest(布加勒斯特大学)
AI总结 JumpLoRA通过JumpReLU门控在LoRA块中诱导稀疏性,实现动态参数隔离,提升IncLoRA性能并超越ELLA方法。