Factorization-Error-Free Discrete Diffusion Language Model via Speculative Decoding
AI总结 本文提出了一种无因子化误差的离散扩散语言模型(FeF-DLLM),旨在解决传统方法中因独立预测清洁令牌而导致的因子化误差问题。该方法通过精确的前缀条件因子化替代独立预测,更有效地保留令牌间的依赖关系,并结合推测解码技术,在保持并行预测能力的同时提升推理速度。实验表明,该方法在多个基准数据集上平均提升了5.04个百分点的准确性,同时实现了3.86倍的加速。