\k{appa}-LoRA: Condition Numbers Reveal Which LoRA Matrices Worth Updating
κ-LoRA:条件数揭示哪些LoRA矩阵值得更新
机构 * King Abdullah University of Science and Technology(阿卜杜拉国王科技大学) ; Carnegie Mellon University(卡内基梅隆大学)
AI总结 研究指出LoRA统一更新矩阵计算成本高,条件数大的矩阵对性能提升贡献大。提出κ-LoRA方法,聚焦更新条件数大的矩阵,可减半可训练参数数量,降低计算和内存成本,实验证明其能缩短微调时间、降低内存成本且不影响精度。