Few-Step Diffusion Language Models via Trajectory Self-Distillation
通过轨迹自蒸馏实现少步扩散语言模型
机构 * Rutgers University(罗格斯大学) ; Red Hat AI Innovation(红帽AI创新) ; MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
AI总结 本文提出通过轨迹自蒸馏框架训练少步学生模型,以匹配全步教师的生成轨迹,从而减少解码步骤带来的输出质量下降,并结合DDO提升推理任务性能。