Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL
掩码扩散语言模型是用于智能体强化学习的强大且可控的基于文本的世界模型
机构 * Patronus AI(守护神人工智能公司)
专题命中 模仿学习与强化学习 :world model(title,abstract);分类 cs.AI、cs.LG
AI总结 研究强化学习中世界模型问题,对比自回归语言模型和掩码扩散语言模型,发现掩码扩散语言模型性能更优。引入GRPO训练框架,在三个OOD环境上零样本转移消融效果良好,还进行相关分析与评估,最后开源工作推动该领域研究。
Comments Dataset: https://huggingface.co/PatronusAI/world_model_corpus Training code: https://github.com/patronus-ai/mdlm_world_modeling