Xi'an Jiaotong University（西安交通大学）

Single-Teacher View Augmentation: Enhancing Knowledge Distillation with Student-Guided Perturbations

单教师视图增强：通过学生引导的扰动增强知识蒸馏

Xuyi Yu, Yaohua Liu, Chengjun Li, Qiang Tang, Shuzhe Tang, Kuizhi Mei

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所人机混合增强智能技术国家重点实验室） ； Guangdong Institute of Intelligence Science and Technology（广东省智能科学与技术研究院） ； Institute of Collaborative Innovation, University of Macau（澳门大学协同创新研究院） ； Beijing Huahang Institute of Radio Measurement（北京华航无线电测量研究所） 纠错

AI总结 研究针对知识蒸馏中单一教师视角限制监督信号多样性的问题，提出SAKD框架，利用学生演变特征动态生成扰动视图，实现单阶段训练，实验证明该方法在减少参数和无需预训练的情况下，准确率优于随机扰动方法且与两阶段方法相当。