Korea Advanced Institute of Science and Technology（韩国科学技术院）

Understanding and Accelerating the Training of Masked Diffusion Language Models

理解并加速掩码扩散语言模型的训练

Chunsan Hong, Sanghyun Lee, Chieh-Hsin Lai, Satoshi Hayakawa, Yuhta Takida, Yuki Mitsufuji, Seungryong Kim, Jong Chul Ye

机构 * KAIST（韩国科学技术院） ； Sony AI（索尼人工智能） ； University of Tokyo（东京大学） ； Sony Group Corporation（索尼集团） 纠错

AI总结 本文研究了掩码扩散模型训练缓慢的原因，提出bell-shaped时间采样策略，显著提升训练效率和模型性能。

Comments Preprint

QATMA: Quantization-Aware Training with Multimodal Alignment for Open-Vocabulary Object Detection

CR-QAT: 基于课程关系量化感知训练的开放词汇目标检测

Jinyeong Park, Donghwa Kang, Seunghwan An, Insoo Kim, Brent ByungHoon Kang, Hyeongboo Baek, Jibum Kim

机构 * Incheon National University, Incheon, South Korea（韩国仁川国立大学） ； KAIST, Daejeon, South Korea（韩国成均馆大学） ； University of Seoul, Seoul, South Korea（首尔大学） 纠错

AI总结 CR-QAT通过课程关系量化感知训练提升开放词汇目标检测在低比特设置下的性能，实现显著的AP提升。