Three-Pronged Spectral Control for Federated Parameter Efficient Fine Tuning
用于联邦参数高效微调的三叉戟频谱控制
机构 * School of IT, Deakin University(迪肯大学信息技术学院) ; Columbia University(哥伦比亚大学)
AI总结 研究针对联邦参数高效微调在非IID客户端异质性下的脆弱性,提出TRISHUL频谱控制框架,通过共享冻结多头低秩基、核范数近端收缩及非均匀分配适应头,提升了收敛性、稳定性和最终性能。
Comments 18 pages, 17 figures, 11 tables