FED-FSTQ: Fisher-Guided Token Quantization for Communication-Efficient Federated Fine-Tuning of LLMs on Edge Devices
FED-FSTQ:基于Fisher的令牌量化用于边缘设备上通信高效联邦微调大型语言模型
机构 * School of Computing and Information Technology, Great Bay University(计算与信息学院,大亚湾大学) ; Beijing Institute of Technology(北京理工大学) ; University of Warwick(沃里克大学) ; City University of Hong Kong (Dongguan)(香港城市大学(东莞)) ; Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) ; College of Computer Science and Software Engineering, Shenzhen University(计算机科学与软件工程学院,深圳大学)
AI总结 本文提出Fed-FSTQ,一种基于Fisher的令牌量化方法,用于在边缘设备上高效联邦微调大型语言模型,通过非均匀混合精度量化和重要性感知令牌选择,减少通信开销并提升训练效率。
Comments 18 pages, 14 figures