Resting Neurons, Active Insights: Robustifying Activation Sparsity in LLMs via Spontaneity
静息神经元,主动洞察:通过自发性增强LLM中的激活稀疏性
机构 * IBM Thomas J. Watson Research Center, Yorktown Heights, USA(IBM 托马斯·J·沃森研究中心,美国Yorktown Heights) ; Halıcıoğlu Data Science Institute, UC San Diego, La Jolla, USA(哈利奇欧数据科学研究所,美国UC圣地亚哥La Jolla) ; Stony Brook University, Stony Brook, USA(史泰文·布鲁克大学,美国Stony Brook)
专题命中 AI治理与伦理 :alignment(abstract);分类 cs.LG
AI总结 本文提出了一种通过引入自发神经元(SPON)来增强LLM中激活稀疏性的方法,解决了高稀疏率下模型精度下降的问题,通过分布匹配训练SPON,使模型在稀疏计算中保持稳定和泛化能力。
Comments ICML 2026