GPart: End-to-End Isometric Fine-Tuning via Global Parameter Partitioning
AI总结 本文提出了一种名为 GPart 的全新参数高效微调方法,通过全局参数划分实现端到端等距微调,解决了传统低秩适配(LoRA)方法在参数映射过程中破坏距离保持性质的问题。GPart 采用单一等距划分矩阵,将低维可训练向量直接映射到模型的完整权重空间,从而完全消除低秩瓶颈,显著提升了参数效率。实验表明,GPart 在自然语言理解、计算机视觉和数学推理等任务上均表现出色,达到了当前参数高效微调方法的最先进水平。