Multi-Mask Diffusion Language Models for Few-Step Generation
用于少步生成的多掩码扩散语言模型
机构 * ByteDance Seed(字节跳动种子) ; Princeton University(普林斯顿大学) ; Stanford University(斯坦福大学) ; UCLA(加州大学洛杉矶分校) ; UC Berkeley(加州大学伯克利分校)
AI总结 研究针对掩码扩散模型少步生成难的问题,提出多掩码扩散模型MultiMDM,通过特定前向过程使反向过程有起草能力,推导训练目标并制定蒸馏方案,经实验验证其为少步生成提供了有效基础。
Comments Needs corporate approval