Distributed Specialization: Rare-Token Neurons in Large Language Models
机构 * ENS, Université PSL, EHESS, CNRS(巴黎高等师范学院、巴黎科学实验室、国家科学研究中心) ; DT Master Carbon ; Sorbonne Université, École Normale Supérieure, CNRS, Laboratoire de Physique (LPENS)(索邦大学、巴黎高等师范学院、国家科学研究中心) ; Laboratoire de Physique de l’École Normale Supérieure, ENS, Université PSL, CNRS, Sorbonne Université, Université Paris Cité(巴黎高等师范学院物理实验室、巴黎科学实验室、国家科学研究中心、索邦大学、巴黎城市大学)
专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);分类 cs.AI