Reconsidering Positional Supervision in Masked Diffusion Language Model Training
重新审视掩码扩散语言模型训练中的位置监督
机构 * Tohoku University(东大大学) ; RIKEN(理化学研究所) ; NII LLMC(国家信息研究所LLMC)
专题命中 幻觉与事实性 :alignment(abstract);分类 cs.CL、cs.LG
AI总结 针对掩码扩散语言模型对位置偏移敏感的问题,提出基于连接主义时序分类(CTC)的目标函数,通过引入松弛令牌和更新折叠映射来吸收位置不确定性,从而在开放生成基准上取得一致提升。
Comments preprint, WIP