Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models
贝叶斯重复惩罚:一种用于扭转自回归语言模型中注意力崩溃的有原则的相邻条件框架
专题命中 病理影像 :pathology(abstract)
AI总结 针对自回归语言模型注意力崩溃问题,提出基于相邻条件概率构造的贝叶斯重复惩罚框架,通过自归一化惩罚率校正异常置信度,经指数移动平均累积到输出层偏差,实验表明该机制能拯救崩溃模型并保持生成质量。