Is SwiGLU's Open Positive Tail Necessary? Evidence from Closed-Tail Gating with MemGLU
SwiGLU的开放正尾是否必要?来自带MemGLU的闭尾门控的证据
机构 * City University of Hong Kong(香港城市大学) ; Beihang University(北京航空航天大学) ; National University of Singapore(新加坡国立大学)
AI总结 该研究针对仅解码器的语言模型FFN,通过对比实验发现,源自忆阻分支几何的MemGLU在相近损失下无需SwiGLU的开放正尾即可表现良好,表明模型会适应预训练的门控几何。