Self-Supervised Visual On-Policy Distillation
自监督视觉在线策略蒸馏
机构 * University of Maryland, College Park(马里兰大学帕克分校) ; Georgia Institute of Technology(佐治亚理工学院) ; Johns Hopkins University(约翰斯·霍普金斯大学) ; University of Oxford(牛津大学) ; UC San Diego(加利福尼亚大学圣迭戈分校)
AI总结 该研究提出S²VOPD方法,通过从学生模型减信息而非给教师加特权信息,实现无特权信息的视觉在线策略蒸馏,在6个细粒度感知基准上显著提升Qwen3.5-4B性能,表现优于多数模型。