PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective
PEFT-Arena:从稳定性-可塑性角度理解参数高效微调
机构 * The Chinese University of Hong Kong(香港中文大学) ; Westlake University(西湖大学) ; MPI for Intelligent Systems(智能系统研究所)
AI总结 提出PEFT-Arena基准,通过稳定性-可塑性困境评估参数高效微调方法,发现正交微调在帕累托前沿上最优,并从权重空间和激活空间分析其几何特性。
Comments Technical report v1 (28 pages, 9 figures, project page: https://spherelab.ai/PEFT-Arena/)