DLLM-JEPA: Joint Embedding Predictive Architectures for Masked Diffusion Language Models
DLLM-JEPA:用于掩码扩散语言模型的联合嵌入预测架构
机构 * Sangdae Nam
AI总结 提出DLLM-JEPA,通过将联合嵌入预测架构与掩码扩散语言模型结合,消除显式多视图数据和双梯度前向传播需求,在多个任务上提升准确率并降低训练FLOPs。
Comments 17 pages, 4 figures, 13 tables. Accepted at SPIGM Workshop, ICML 2026