Toward Real-Time Surgical Scene Segmentation via a Spike-Driven Video Transformer with Spike-Informed Pretraining
迈向实时手术场景分割的脉冲驱动视频变换器及其基于脉冲的预训练
机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院) ; University of Alberta(阿尔伯塔大学) ; School of Medicine, Yale University(耶鲁大学医学院) ; Southern University of Science and Technology(南方科技大学) ; Nanfang Hospital Southern Medical University(南方医科大学南华医院) ; School of Biomedical Engineering, Shenzhen University(深圳大学生物医学工程学院) ; Faculty of Computer Science and Control Engineering, Shenzhen University of Advanced Technology(深圳先进技术研究院计算机科学与控制工程学院)
专题命中 视觉空间推理 :reasoning(abstract)
AI总结 本文提出SpikeSurgSeg,一种基于脉冲驱动的视频变换器,用于手术场景分割。通过引入基于MAE的脉冲感知预训练策略和多谱知识蒸馏,提升模型在数据稀缺场景下的性能,同时减少推理延迟并提高效率。