CT-Merging: Consensus Directions and Task-Level Scaling for LoRA Adapter Merging
CT-Merging:用于LoRA适配器合并的共识方向和任务级缩放
机构 * KAIST(韩国科学技术院)
专题命中 医学影像 :CT(title,title_cn);分类 cs.CV、cs.LG
AI总结 研究针对LoRA适配器合并中系数不匹配问题,提出CT-Merging算法,通过平均任务子空间投影仪估计共识方向并分配任务级系数缩放,利用跨任务SVD子空间构建公共基础,在基准测试中比现有方法准确率更高。
Comments 9 pages, 5 figures