OPD-V: Visual On-Policy Self-Distillation with Modality Balance
OPD-V:结合模态平衡的视觉在线策略自蒸馏
机构 * National University of Singapore(新加坡国立大学) ; Ludwig Maximilian University of Munich(慕尼黑大学) ; Munich Center for Machine Learning(慕尼黑机器学习中心) ; Sun Yat-sen University(中山大学)
AI总结 该研究针对多模态大语言模型的模态不平衡问题,提出视觉在线策略自蒸馏范式OPD-V,通过正、负教师模型实现模态平衡,在多基准与骨干上提升推理性能并降低训练成本。
Comments Corrected the uploaded manuscript. Project Page:https://github.com/aniri15/OPD-V