世界模型

Drama: Mamba-Enabled Model-Based Reinforcement Learning Is Sample and Parameter Efficient

Wenlong Wang, Ivana Dusparic, Yucheng Shi, Ke Zhang, Vinny Cahill

机构 * School of Computer Science and Statistics（计算机科学与统计学系） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world models(abstract)；world model(abstract)

Comments Published as a conference paper at ICLR 2025

Dreaming Smoothly and Sample Efficiently with Gradient Penalized Latent Dynamics

利用梯度惩罚潜在动力学实现平滑且高效的采样

Romil V. Sonigra, P. R. Kumar

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Texas A&M University（德克萨斯大学） 纠错

专题命中 模型式强化学习 ：latent dynamics(title,abstract)；world model(abstract)；world models(abstract)；world model(abstract)

AI总结 提出GPLD正则化器，通过行雅可比惩罚增强DreamerV3潜在转移动力学的局部平滑性，提升样本效率，尤其在复杂运动控制任务中表现显著。

Comments 17 pages and 9 figures

Learning to Focus: Prioritizing Informative Histories with Structured Attention Mechanisms in Partially Observable Reinforcement Learning

Daniel De Dios Allegue, Jinke He, Frans A. Oliehoek

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 模型式强化学习 ：world model(abstract,comments)；world models(abstract,comments)；world model(abstract,comments)；world models(abstract,comments)

Comments Accepted to Embodied World Models for Decision Making (EWM) Workshop at NeurIPS 2025

SOLD: Slot Object-Centric Latent Dynamics Models for Relational Manipulation Learning from Pixels

Malte Mosbach, Jan Niklas Ewertz, Angel Villar-Corrales, Sven Behnke

专题命中 模型式强化学习 ：latent dynamics(title,abstract)；world model(abstract)；dynamics model(title,abstract)；world model(abstract)

Model-Based Reinforcement Learning with Multi-Task Offline Pretraining

Minting Pan, Yitao Zheng, Yunbo Wang, Xiaokang Yang

专题命中 模型式强化学习 ：model-based reinforcement learning(title)；world model(abstract)；world models(abstract)；world model(abstract)

Model-Based Reinforcement Learning with Isolated Imaginations

Minting Pan, Xiangming Zhu, Yitao Zheng, Yunbo Wang, Xiaokang Yang

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world models(abstract)；world model(abstract)

Comments arXiv admin note: text overlap with arXiv:2205.13817

On the Feasibility of Cross-Task Transfer with Model-Based Reinforcement Learning

Yifan Xu, Nicklas Hansen, Zirui Wang, Yung-Chieh Chan, Hao Su, Zhuowen Tu

专题命中 模型式强化学习 ：model-based reinforcement learning(title)；world model(abstract)；world models(abstract)；world model(abstract)

Comments Project page with code: https://nicklashansen.github.io/xtra

Advantage-Guided Diffusion for Model-Based Reinforcement Learning

基于优势的扩散模型用于基于模型的强化学习

Daniele Foffano, Arvid Eriksson, David Broman, Karl H. Johansson, Alexandre Proutiere

机构 * KTH Royal Institute of Technology（瑞典皇家理工学院） ； Digital Futures（数字未来） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world models(abstract)；world model(abstract)

AI总结 本文提出AGD-MBRL，通过利用智能体的优势估计引导反向扩散过程，提升长周期回报。采用SAG和EAG两种引导方法，改进了短周期视角下的扩散模型MBRL性能。

Bayes Adaptive Monte Carlo Tree Search for Offline Model-based Reinforcement Learning

贝叶斯自适应蒙特卡洛树搜索用于离线模型驱动强化学习

Jiayu Chen, Le Xu, Wentse Chen, Jeff Schneider

机构 * The University of Hong Kong（香港大学） ； Tsinghua University（清华大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world models(abstract)；world model(abstract)

AI总结 本文提出贝叶斯自适应蒙特卡洛树搜索算法，用于提升离线模型驱动强化学习的性能，显著优于现有方法。

Comments This paper is accepted in ICLR 2026

Offline vs. Online Learning in Model-based RL: Lessons for Data Collection Strategies

Jiaqi Chen, Ji Shi, Cansu Sancaktar, Jonas Frey, Georg Martius

专题命中 模型式强化学习 ：model-based RL(title)；world model(abstract)；world models(abstract)；world model(abstract)

Comments Accepted at Reinforcement Learning Conference (RLC 2025); Code available at: https://github.com/swsychen/Offline_vs_Online_in_MBRL

Knowledge Transfer in Model-Based Reinforcement Learning Agents for Efficient Multi-Task Learning

Dmytro Kuzmenko, Nadiya Shvai

机构 * National University of Kyiv-Mohyla Academy（基辅莫希拉大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world models(abstract)；world model(abstract)

Comments Preprint of an extended abstract accepted to AAMAS 2025

Journal ref Proceedings of the 24th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2025), pp. 2597-2599, ACM, 2025

Knowledge Retention for Continual Model-Based Reinforcement Learning

Yixiang Sun, Haotian Fu, Michael Littman, George Konidaris

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world models(abstract)；world model(abstract)

Multi-Horizon Consistency as Geometry: When Latent Dynamics Contract, and When They Do Not

多时间尺度一致性即几何：潜在动力学何时收缩，何时不收缩

Kavya Bhand, Aadi Joshi

机构 * Vishwakarma Institute of Technology（维斯瓦卡玛理工学院） 纠错

专题命中 模型式强化学习 ：latent dynamics(title)；world model(abstract)；world models(abstract)；world model(abstract)

AI总结 研究视频预测器和世界模型中多时间尺度潜在一致性权重λ对过渡几何的作用，通过实验测量L20,q95和E20等指标，发现λ能改善移动MNIST数据集相关指标，且软一致性作用有域限制，还得出随机强迫定律统一控制域。

Comments 22 pages, 9 figures. Diagnostic study of multi-horizon latent consistency, expansion proxies (L20), and a stochastic-forcing law for world-model geometry. Code and experiment logs to be released publicly

Dream to Chat: Model-based Reinforcement Learning on Dialogues with User Belief Modeling

Yue Zhao, Xiaoyu Wang, Dan Wang, Zhonglin Jiang, Qingqing Gu, Teng Chen, Ningyuan Xi, Jinxian Qu, Yong Chen, Luo Ji

机构 * Geely AI Lab（Geely人工智能实验室） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world models(abstract)；world model(abstract)

Comments Accepted to EMNLP 2025 Findings

Learning from World Feedback: Why Model Uncertainty Fails as a Risk Signal in Model-Based RL

从世界反馈中学习：为何模型不确定性在基于模型的强化学习中无法作为风险信号

Zhaohui Wang

专题命中 模型式强化学习 ：model-based RL(title)；world model(abstract)；world-model(abstract)；world model(abstract)

AI总结 研究探讨 RLxF 中学习信号应源于世界反馈，在安全模型控制中实例化并提炼原则。通过实验表明基于动力学的不确定性惩罚会增加碰撞率，用世界反馈信号可降低碰撞率，提取原则并指出其适用于多种相关方法。

Comments Accepted at the ICML 2026 Workshop on Reinforcement Learning from X Feedback (RLxF). 14 pages

DailyArt: Discovering Articulation from Single Static Images via Latent Dynamics

DailyArt: 从单张静态图像中通过潜在动态发现关节

Hang Zhang, Qijian Tian, Jingyu Gong, Daoguo Dong, Xuhong Wang, Yuan Xie, Xin Tan

专题命中 模型式强化学习 ：latent dynamics(title)；world model(abstract)；world models(abstract)；world model(abstract)

AI总结 DailyArt通过合成介导推理解决单张图像中关节估计问题，无需多视角输入或显式部分标注，实现关节参数同时恢复和部分级新状态合成。

Replay Buffer with Local Forgetting for Adapting to Local Environment Changes in Deep Model-Based Reinforcement Learning

Ali Rahimi-Kalahroudi, Janarthanan Rajendran, Ida Momennejad, Harm van Seijen, Sarath Chandar

专题命中 模型式强化学习 ：model-based reinforcement learning(title)；world model(abstract)；world models(abstract)；world model(abstract)

Planning from Pixels using Inverse Dynamics Models

Keiran Paster, Sheila A. McIlraith, Jimmy Ba

专题命中 模型式强化学习 ：world model(abstract)；world models(abstract)；dynamics model(title,abstract)；world model(abstract)

Comments 9 pages, 4 figures

Dreaming Falcon: Physics-Informed Model-Based Reinforcement Learning for Quadcopters

梦之鹰：用于四旋翼的物理引导模型基强化学习

Eashan Vytla, Bhavanishankar Kalavakolanu, Andrew Perrault, Matthew McCrink

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world model(abstract)；model-based RL(abstract)

AI总结 本文提出一种基于物理引导的世界模型方法，用于改进四旋翼的强化学习性能，通过物理模型预测力矩和状态展开，提升动态环境下的鲁棒性。

Model-based Reinforcement Learning with a Hamiltonian Canonical ODE Network

Yao Feng, Yuhong Jiang, Hang Su, Dong Yan, Jun Zhu

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world model(abstract)；environment model(abstract)

Performance Asymmetry in Model-Based Reinforcement Learning

基于模型的强化学习中的性能不对称性

Jing Yu Lim, Rushi Shah, Zarif Ikram, Samson Yu, Haozhe Ma, Tze-Yun Leong, Dianbo Liu

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

AI总结 本文提出JEDI世界模型，通过解决基于模型的强化学习中的性能不对称问题，在Human-Optimal任务和Breakout上取得最优成绩，同时提升计算效率。

Comments Preprint

Dream to Generalize: Zero-Shot Model-Based Reinforcement Learning for Unseen Visual Distractions

Jeongsoo Ha, Kyungsoo Kim, Yusung Kim

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV

Comments AAAI 2023

Sense, Imagine, Act: Multimodal Perception Improves Model-Based Reinforcement Learning for Head-to-Head Autonomous Racing

Elena Shrestha, Chetan Reddy, Hanxi Wan, Yulun Zhuang, Ram Vasudevan

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

MoDem: Accelerating Visual Model-Based Reinforcement Learning with Demonstrations

Nicklas Hansen, Yixin Lin, Hao Su, Xiaolong Wang, Vikash Kumar, Aravind Rajeswaran

专题命中 模型式强化学习 ：model-based reinforcement learning(title)；world model(abstract)；world model(abstract)；model-based RL(abstract)

Learning a Particle Dynamics Model with Real-world Videos

利用真实世界视频学习粒子动力学模型

Chanho Kim, Suhas V. Sumukh, Li Fuxin

机构 * Oregon State University（俄勒冈州立大学） 纠错

专题命中 模型式强化学习 ：world model(abstract)；world models(abstract)；dynamics model(title,abstract)；world model(abstract)

AI总结 提出一种从无标签真实视频直接训练神经物体动力学模型的框架，结合高斯溅射技术，通过渲染监督学习粒子位置和旋转变化，避免对合成数据的依赖。

Comments CVPR 2026 Findings

Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives

视频JEPA中的因子化潜在动态：辅助目标的实证研究

Santosh Premi

机构 * Adhikari（阿迪卡里） 纠错

专题命中 模型式强化学习 ：latent dynamics(title,abstract)；world-model(abstract)；world-model(abstract)；分类 cs.LG、cs.CV

AI总结 本研究探讨了视频JEPA中辅助目标的实证效果，通过对比不同辅助目标变体，发现潜在表示的因子化方法在提升某些能力的同时可能降低其他能力，FWM-HW-LD在混合数据集下提升了ImageNet-100和SSv2的性能。

Scaling Tasks, Not Samples: Mastering Humanoid Control through Multi-Task Model-Based Reinforcement Learning

通过多任务模型基于强化学习掌握人形控制

Shaohuai Liu, Weirui Ye, Yilun Du, Le Xie

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world model(abstract)；分类 cs.AI、cs.RO

AI总结 本文提出EfficientZero-Multitask算法，通过多任务模型基于强化学习提升人形机器人控制性能，实现高效样本利用和高任务适应性。

Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining

通过联合优化的世界-动作模型扩展离线模型基于的强化学习

Jie Cheng, Ruixi Qiao, Yingwei Ma, Binhua Li, Gang Xiong, Qinghai Miao, Yongbin Li, Yisheng Lv

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 模型式强化学习 ：model-based RL(title,abstract)；world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG

AI总结 JOWA通过联合优化的世界-动作模型扩展离线RL，实现高效泛化和高性能

Comments Accepted by ICLR 2025

medDreamer: Model-Based Reinforcement Learning with Latent Imagination on Complex EHRs for Clinical Decision Support

medDreamer：基于复杂电子病历的潜在想象的模型驱动强化学习用于临床决策支持

Qianyi Xu, Gousia Habib, Feng Wu, Dilruk Perera, Mengling Feng

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG

AI总结 medDreamer通过结合潜在想象和自适应特征集成模块，实现基于复杂电子病历的模型驱动强化学习，以提升个性化治疗推荐的性能。

Policy-shaped prediction: avoiding distractions in model-based reinforcement learning

Miles Hutson, Isaac Kauvar, Nick Haber

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG

Comments Accepted at NeurIPS 2024