IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models
IoUPD:用于多模态大语言模型视觉定位的IoU感知特权蒸馏
机构 * University of Chinese Academy of Sciences(中国科学院大学) ; State Key Laboratory of Communication Content Cognition(通信内容认知技术国家重点实验室) ; Peng Cheng Laboratory(鹏城实验室)
专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract)
AI总结 研究多模态大语言模型视觉定位中训练与评估不匹配问题,提出IoUPD方法,利用真实框作特权指导,训练时学生模型接收原始信息,教师模型接收增强提示,经监督微调与特权蒸馏损失训练,推理时无需额外模块,实验显示该方法有改进。
Comments 16 pages, 7 figures, 10 tables