DINORANKCLIP: DINOv3 Distillation and Injection for Vision-Language Pretraining with High-Order Ranking Consistency
DINORANKCLIP:基于DINOv3蒸馏与注入的视觉-语言预训练高阶排名一致性方法
机构 * University of California, Los Angeles(加州大学洛杉矶分校) ; Aimaikj(阿米亚克j) ; HFIPS, Chinese Academy of Sciences(中国科学院HFIPS) ; University of Science and Technology of China(中国科学技术大学) ; Chinese Academy of Sciences(中国科学院) ; National University of Defense Technology(国防科技大学)
AI总结 DINORANKCLIP通过融合DINOv3教师模型与高阶排名一致性损失,改进CLIP在视觉-语言预训练中的表现,提升细粒度和分布外推理能力。
Comments 18 pages, 7 figures, 9 tables. Code will be made publicly available upon acceptance