Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation
Open-MOPD:诊断与修复多教师在线蒸馏中的能力不平衡
机构 * SIA-Lab of Tsinghua AIR and ByteDance Seed(清华大学AIR与字节跳动种子SIA实验室) ; Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院) ; Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
专题命中 医学数据与评测 :pathology(abstract);分类 cs.LG
AI总结 本研究针对多教师在线蒸馏(M-OPD)的能力不平衡问题,提出 Open-MOPD 框架,通过三种机制将提升空间恢复率从 35.6% 提升至 83.4%,并开源了相关方案与评估套件。
Comments Project page: this https URL (https://bytedtsinghua-sia.github.io/Open-MOPD/)