University of Chinese Academy of Sciences（中国科学院大学）

The Hidden Power of Scaling Factor in LoRA Optimization

缩放因子在LoRA优化中的隐藏力量

Zicheng Zhang, Haoran Li, Jiaxing Wang, Guoqiang Gong, Anqi Li, Yudong Hu, Ting Xiong, Yurong Gao, Junxing Hu, Zhida Jiang, Yifeng Zhang, Pengzhang Liu, Qixia Jiang

机构 * School of Mathematical Sciences, UCAS（中国科学院大学数学科学学院） ； School of Mathematical Sciences, NKU（南开大学数学科学学院） ； School of Advanced Interdisciplinary Sciences, UCAS（中国科学院大学前沿交叉科学学院） 纠错

AI总结 本文揭示LoRA中缩放因子α与学习率功能不同，α主导优化效果，通过信号-漂移框架发现α能放大任务信号而不增加漂移比，并提出LoRA-α框架以简化超参数搜索并提升性能。