RSRA: Training-Free Probing of Representation Sensitivity for Efficient LoRA Rank Allocation
RSLoRA:通过表示敏感性探测实现LoRA的无训练秩分配
机构 * Dalian University of Technology(大连理工大学) ; Northeastern University(东北大学) ; Hebei Key Laboratory of Marine Perception Network and Data Processing(河北省海洋感知网络与数据处理重点实验室) ; Nanjing Tech University(南京工业大学) ; Institute of Intelligent Manufacturing(智能制造研究院)
AI总结 研究针对LoRA传统秩分配问题,提出RSLoRA,通过激活空间几何及虚拟表示探测机制确定高敏感性模块,无需训练调整和反向梯度,在主流基准测试中优于现有方法,为模型自适应提供高效方案。
Comments 14 pages, 5 figures