Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising
神经形态扩散语言模型:通过稀疏性和块去噪解决计算和内存瓶颈
机构 * King’s College London(伦敦国王学院) ; Institute for Intelligent Networked Systems (INSI), Northeastern University London(伦敦东北大学智能网络系统研究所)
AI总结 研究针对自回归大语言模型推理低效问题,提出神经形态掩码扩散语言模型,结合块扩散与脉冲神经形态计算,利用脉冲诱导稀疏性减少参数流量和计算,开发模型分析协同效应,实验表明该模型在能源效率和吞吐量上有显著提升。
Comments Accepted for presentation at 2026 IEEE Workshop on Signal Processing Systems (SiPS)