ActTail: Global Activation Sparsity in Large Language Models
ActTail:大语言模型中的全局激活稀疏性
专题命中 长上下文与记忆 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.LG
AI总结 本文提出ActTail方法,基于Heavy-Tailed Self-Regularization理论,通过计算每个投影的经验谱密度得到重尾指数,实现基于投影的稀疏性分配,提升大语言模型在高稀疏率下的性能。