EPFL（洛桑联邦理工学院）

Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models

注意力折扣自适应采样器用于掩码扩散语言模型

Yusuf Sahin, Ahmed Rockey Saikia, Volkan Cevher, Paolo Favaro

机构 * University of Bern（伯尔尼大学） ； EPFL（瑞士联邦理工学院洛桑分校） 纠错

AI总结 针对掩码扩散语言模型并行解码中候选词交互导致的不安全问题，提出训练无关的重排序规则ADAS，通过注意力折扣软惩罚改进子集构建，在多个基准上提升低NFE性能。