CORA: Per-Slice Coherent Orthogonal Rotation for SVD-based Low-Rank Adaptation
CORA:基于切片的相干正交旋转,用于基于SVD的低秩适配
机构 * Purdue University(普渡大学) ; Shanghai Institute for Mathematics and Interdisciplinary Sciences / Fudan University(上海数学与交叉科学研究院 / 复旦大学) ; Futurewei Technologies, Inc.(未来科技有限公司)
AI总结 针对现有基于SVD的PEFT方法未保留预训练奇异基耦合几何的问题,提出逐切片相干正交旋转适配方法CORA,参数量远低于同类方法,在常识推理、代码生成任务上性能更优。
Comments 13 pages, 1 figure