Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning
Dysco:动态子空间增强以减轻联邦学习中的LoRA干扰
机构 * University of Michigan(密歇根大学) ; Cornell University(康奈尔大学) ; University of Pennsylvania(宾夕法尼亚大学)
AI总结 研究针对联邦学习中异构客户端使LoRA聚合不稳定的问题,提出动态子空间增强方法Dysco,通过联邦动态分配特定客户端LoRA子空间,经实验验证其能减少干扰、降低训练损失、提升算法性能且开销小。
Comments 33 pages, 10 figures, 11 tables