Meituan（美团）

Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models

超越完全随机掩码：扩散语言模型的注意力引导去噪与优化

Jia Deng, Junyi Li, Wayne Xin Zhao, Jinpeng Wang, Hongyu Lu, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Department of Data Science, City University of Hong Kong（香港城市大学数据科学系） ； Meituan（美团） ； WeChat, Tencent（腾讯微信） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（大型模型与智能治理北京市重点实验室） 纠错

AI总结 提出AGDO框架，利用注意力结构指导去噪顺序并强化关键令牌，在数学和编码基准上提升扩散语言模型的推理性能。

Comments 13 pages. Accepted to ACL 2026 Main Conference