VL2Spike: Spike-driven Distillation from VLMs for Low-Power Visual Perception in Embodied AI
VL2Spike:面向具身AI低功耗视觉感知的VLM脉冲驱动蒸馏
机构 * School of EEE, Nanyang Technological University (NTU)(南洋理工大学电气与电子工程学院) ; Department of Computer Science, University of Toronto(多伦多大学计算机科学系) ; Advanced Micro Devices, Inc.(超威半导体公司) ; State Key Laboratory of Extreme Photonics and Instrumentation, Zhejiang University(浙江大学极端光子学与仪器国家重点实验室) ; Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院)
专题命中 其他安全 :alignment(abstract)
AI总结 提出VL2Spike框架,通过时空视觉脉冲蒸馏和脉冲原型引导语言蒸馏,将VLM多模态知识迁移至Spikformer,在静态数据集上提升6.81%性能且能耗仅15.7%,并显著增强机器人视觉地点识别能力。
Comments 9 pages, 4 figures, 8 tables