Xi'an Jiaotong University（西安交通大学）

Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients

采用异构压缩客户端的联邦基础模型微调

Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； OceanBase, Ant Group（蚂蚁集团OceanBase） ； School of Management, Xi’an Jiaotong University（西安交通大学管理学院） ； School of Mathematics and Statistics, Xidian University（西安电子科技大学数学与统计学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, China University of Geosciences（中国地质大学计算机学院） 纠错

AI总结 针对基础模型联邦学习的资源不对称问题，提出FedSLM框架，通过SVD分解等技术实现异构压缩客户端的联邦微调，实验显示其在多基准上优于现有基线且客户端内存需求更低。