BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation
BiSpikCLM: 一种整合无Softmax脉冲注意力和脉冲感知对齐蒸馏的脉冲语言模型
机构 * School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University, Shenzhen, China(电子工程学院,深圳研究生院,北京大学,深圳,中国) ; Peng Cheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国) ; Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学,深圳,中国)
AI总结 BiSpikCLM是首个完全二进制脉冲MatMul-free因果语言模型,通过无Softmax脉冲注意力和脉冲感知对齐蒸馏实现高效训练,显著降低计算成本。