The Hidden Power of Scaling Factor in LoRA Optimization
缩放因子在LoRA优化中的隐藏力量
机构 * School of Mathematical Sciences, UCAS(中国科学院大学数学科学学院) ; School of Mathematical Sciences, NKU(南开大学数学科学学院) ; School of Advanced Interdisciplinary Sciences, UCAS(中国科学院大学前沿交叉科学学院)
AI总结 本文揭示LoRA中缩放因子α与学习率功能不同,α主导优化效果,通过信号-漂移框架发现α能放大任务信号而不增加漂移比,并提出LoRA-α框架以简化超参数搜索并提升性能。