Hugging Face

The Appeal and Reality of Recycling LoRAs with Adaptive Merging

通过自适应合并回收LoRAs的吸引力与现实

Haokun Liu, Gyung Hyun Je, Marco Ciccone, Zhenlin Xu, Prasanth YSS, Colin Raffel

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Mistral AI ； Hugging Face 纠错

AI总结 研究针对回收在模型库中“野生”的LoRAs，通过实证研究多种自适应和非自适应合并方法，发现自适应合并虽能提升性能，但相比用相同数据训练新LoRA优势有限，且合并LoRAs的具体选择重要性不大，还证实了正向迁移的可能性并开源相关资源。

Comments 24 pages, 14 figures, 5 tables. Preprint