Visual Contrastive Self-Distillation
视觉对比自蒸馏
机构 * University of Maryland, College Park(马里兰大学帕克分校) ; University of California, San Diego(加利福尼亚大学圣地亚哥分校) ; Duke University(杜克大学) ; MBZUAI(穆罕默德·本·扎耶德人工智能大学)
AI总结 研究提出视觉对比自蒸馏(VCSD),将图像内容去除转换为策略内自蒸馏信号,通过对比突出相关候选者,锐化教师原始图像分布并蒸馏到学生中,在多个模型上优于匹配的OPSD,且无需外部教师等额外条件。
Comments 15 pages