Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models
基于病理切片基础模型的多教师蒸馏预训练多实例学习网络
机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院) ; University of Washington(华盛顿大学) ; City University of Hong Kong (Dongguan)(香港城市大学(东莞)) ; Medical Optical Technology R&D Center, Research Institute of Tsinghua(清华研究院医学光学技术研发中心) ; Jinfeng Laboratory(金凤实验室)
专题命中 病理影像 :pathology(title,abstract);分类 cs.CV
AI总结 针对计算病理学中多实例学习存在的问题,提出基于蒸馏的预训练框架,利用两个基础模型作为教师,引入角分散归一化蒸馏损失,将蒸馏权重用于下游适应,实验表明该方法在少样本场景中优势明显,能提升计算效率。