OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models
OPTD:用于少步扩散语言模型的一致性引导自适应压缩的策略内转换蒸馏
机构 * HKUST(香港科技大学)
AI总结 针对少步扩散语言模型现有离线策略蒸馏的轨迹不匹配问题,提出 OPTD 策略内转换蒸馏方法,在四个推理基准上改善质量效率权衡并取得最优质量约束 AUP。
Comments 9 pages, 4 figures, 5 tables