MLLM-LLaVA-FL: Multimodal Large Language Model Assisted Federated Learning
MLLM-LLaVA-FL:多模态大语言模型辅助联邦学习
机构 * Duke University(杜克大学) ; Johns Hopkins University(约翰霍普金斯大学) ; University of Maryland College Park(马里兰大学学院市分校) ; Lenovo Research(联想研究院)
专题命中 VLM训练与架构 :LLaVA(title,title_cn);MLLM(title,title_cn);multimodal large language model(title,abstract);分类 cs.AI、cs.LG
AI总结 针对联邦学习中数据异质性问题,提出MLLM-LLaVA-FL框架,利用多模态大语言模型,通过全球视觉文本预训练、客户端本地训练和服务器端全局对齐三个阶段,提升联邦学习性能。
Comments Accepted to WACV 2025
Journal ref IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2025)