Together AI

Introspective Diffusion Language Models

反思式扩散语言模型

Yifan Yu, Yuqing Jian, Junxiong Wang, Zhongzhu Zhou, Donglin Zhuang, Xinyu Fang, Sri Yanamandra, Xiaoxia Wu, Qingyang Wu, Shuaiwen Leon Song, Tri Dao, Ben Athiwaratkun, James Zou, Fan Lai, Chenfeng Xu

机构 * Together AI ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Princeton University（普林斯顿大学） ； Stanford University（斯坦福大学） 纠错

AI总结 本文提出反思式扩散语言模型，通过引入反思性解码算法，在保持并行解码的同时继承自回归训练的反思一致性，实现了与同规模自回归模型相当的质量并优于先前扩散模型。