世界模型

Objective Mismatch in Model-based Reinforcement Learning

Nathan Lambert, Brandon Amos, Omry Yadan, Roberto Calandra

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.LG、cs.RO；dynamics model(abstract)

Comments 9 pages, 2 pages references, 5 pages appendices

Journal ref Proceedings of the 2nd Conference on Learning for Dynamics and Control, PMLR 120:761-770, 2020

Discriminator Augmented Model-Based Reinforcement Learning

Behzad Haghgoo, Allan Zhou, Archit Sharma, Chelsea Finn

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.LG；dynamics model(abstract)

A Game Theoretic Framework for Model Based Reinforcement Learning

Aravind Rajeswaran, Igor Mordatch, Vikash Kumar

专题命中 模型式强化学习 ：model based reinforcement learning(title)；model-based reinforcement learning(abstract)；分类 cs.AI、cs.LG、cs.RO

Comments ICML 2020. This version contains expanded discussion, hyperparameter configurations, and ablation studies

On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning

Baohe Zhang, Raghu Rajan, Luis Pineda, Nathan Lambert, André Biedenkapp, Kurtland Chua, Frank Hutter, Roberto Calandra

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.LG；dynamics model(abstract)

Comments 19 pages, accepted by AISTATS 2021

Learning to Fly via Deep Model-Based Reinforcement Learning

Philip Becker-Ehmck, Maximilian Karl, Jan Peters, Patrick van der Smagt

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.LG、cs.RO

Modeling Survival in model-based Reinforcement Learning

Saeed Moazami, Peggy Doerschuk

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.LG、cs.RO

Low Level Control of a Quadrotor with Deep Model-Based Reinforcement Learning

Nathan O. Lambert, Daniel S. Drew, Joseph Yaconelli, Roberto Calandra, Sergey Levine, Kristofer S. J. Pister

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.LG、cs.RO；dynamics model(abstract)

Comments Accepted to IROS and RA-L, 2019. For more information, see the website: https://sites.google.com/berkeley.edu/mbrl-quadrotor/. 9 pages, 12 figures

Learning Latent Dynamics for Planning from Pixels

Danijar Hafner, Timothy Lillicrap, Ian Fischer, Ruben Villegas, David Ha, Honglak Lee, James Davidson

专题命中 模型式强化学习 ：latent dynamics(title,abstract)；分类 cs.AI、cs.LG；dynamics model(abstract)

Comments 20 pages, 12 figures, 1 table

Model-Based Reinforcement Learning via Meta-Policy Optimization

Ignasi Clavera, Jonas Rothfuss, John Schulman, Yasuhiro Fujita, Tamim Asfour, Pieter Abbeel

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.LG；dynamics model(abstract)

Comments First 2 authors contributed equally. Accepted for Conference on Robot Learning (CoRL)

Synthesizing Neural Network Controllers with Probabilistic Model based Reinforcement Learning

Juan Camilo Gamboa Higuera, David Meger, Gregory Dudek

专题命中 模型式强化学习 ：model based reinforcement learning(title)；model-based reinforcement learning(abstract)；分类 cs.AI、cs.RO；dynamics model(abstract)

Comments 8 pages, 7 figures

Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration

Christopher Xie, Sachin Patil, Teodor Moldovan, Sergey Levine, Pieter Abbeel

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.LG、cs.RO；dynamics model(abstract)

Comments 8 pages

A Real-Time Model-Based Reinforcement Learning Architecture for Robot Control

Todd Hester, Michael Quinlan, Peter Stone

专题命中 模型式强化学习 ：model-based reinforcement learning(title,comments)；model-based RL(abstract)；分类 cs.AI、cs.RO

Comments Added a reference Presents a real-time parallel architecture for model-based reinforcement learning methods

Learning Robust Controllers Via Probabilistic Model-Based Policy Search

Valentin Charvet, Bjørn Sand Jensen, Roderick Murray-Smith

专题命中 模型式强化学习 ：world model(abstract)；world model(abstract)；model-based reinforcement learning(abstract)；分类 cs.LG

Comments Accepted at RobustML Workshop - ICLR 2021

Self-Curriculum Model-based Reinforcement Learning for Shape Control of Deformable Linear Objects

基于自课程模型的可变形线性物体形状控制强化学习

Zhaowei Liang, Song Wang, Zhao Jin, Shirui Wu, Dan Wu

机构 * Department of Mechanical Engineering, Tsinghua University（清华大学机械工程系） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.RO；dynamics model(abstract)

AI总结 提出两阶段框架，结合基于模型强化学习与在线视觉伺服，通过自课程目标生成机制实现可变形线性物体高效精确的形状控制，在仿真和真实任务中优于主流方法。

Comments Accepted to IROS 2026

Model-Based Reinforcement Learning in Discrete-Action Non-Markovian Reward Decision Processes

离散动作非马尔可夫奖励决策过程中基于模型的强化学习

Alessandro Trapasso, Luca Iocchi, Fabio Patrizi

机构 * Fondazione Bruno Kessler（布雷诺·科塞拉基金会） ； Sapienza University of Rome（罗马萨皮恩扎大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title)；model-based RL(abstract)；分类 cs.AI、cs.LG

AI总结 提出QR-MAX算法，通过奖励机分解马尔可夫转移学习与非马尔可夫奖励处理，首次在离散NMRDP中获得PAC收敛到ε-最优策略的多项式样本复杂度，并扩展至连续状态空间。

Comments Accepted at IJCAI-ECAI 2026. 19 pages, 32 figures, includes appendix

Unifying Model-Free Efficiency and Model-Based Representations via Latent Dynamics

通过潜在动力学统一无模型效率与基于模型的表示

Jashaswimalya Acharjee, Balaraman Ravindran

专题命中 模型式强化学习 ：latent dynamics(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出统一潜在动力学算法，通过将状态-动作对嵌入到值函数近似线性的潜在空间，无需规划开销即可融合无模型效率与基于模型表示的优势，在80个环境中匹配或超越专门基线。

Comments Similarities found with a prior work. Hence, requesting for withdrawal until further notice

Post-Hoc Robustness for Model-Based Reinforcement Learning

基于模型的强化学习的后验鲁棒性

Siemen Herremans, Ali Anwar, Siegfried Mercelis

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title)；model-based RL(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种在推理时利用学习模型和名义策略进行鲁棒策略改进的后验鲁棒化方法，通过对抗性展开的模型预测控制提升鲁棒性，无需额外训练神经网络。

Focal plane wavefront control with model-based reinforcement learning

基于模型的强化学习进行焦平面波前控制

Jalo Nousiainen, Iremsu Taskin, Markus Kasper, Gilles Orban De Xivry, Olivier Absil

机构 * European Southern Observatory (ESO)（欧洲南天文学观测站） ； STAR Institute, Université de Liège（利根大学STAR研究所） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title)；model-based RL(abstract)；分类 cs.LG、cs.RO

AI总结 提出基于模型的强化学习算法PO4NCPA，通过顺序相位分集自动校正动态和静态非共路像差，实现高对比度成像中的焦平面波前控制。

Comments 13 pages, 11 figures accepted by A&A

Journal ref A&A 709, A267 (2026)

Latent Dynamics for Full Body Avatar Animation

基于潜在动态的全身动画 avatar

Shichong Peng, Chengxiang Yin, Fei Jiang, Zhongshi Jiang, Lingchen Yang, Qingyang Tan, Amin Jourabloo, Jason Saragih, Ke Li, Christian Häne

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Codec Avatars Lab, Meta（Meta编码化身实验室） 纠错

专题命中 模型式强化学习 ：latent dynamics(title,abstract)；分类 cs.CV；dynamics model(abstract)

AI总结 本文提出了一种基于潜在动态的全身动画 avatar 方法，通过引入 transformer 解码器和动态残差潜在变量，实现了更精确的动态模拟，提高了动画质量。

Comments Supplementary video: https://youtu.be/xjnr3YM0yIE

Stabilized neural Hamilton--Jacobi--Bellman solvers: Error analysis and applications in model-based reinforcement learning

稳定神经哈密顿-雅可比-贝尔曼求解器：误差分析及在基于模型的强化学习中的应用

Minseok Kim, Yeongjong Kim, Namkyeong Cho, Yeoneung Kim

机构 * Seoul National University of Science and Technology（首尔科学技术大学） ； POSTECH ； Gachon University（成均馆大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出稳定神经HJB求解器，通过混合方法分析误差并应用于强化学习，验证了求解器在模型误差和策略不匹配下的稳定性。

Model-Based Reinforcement Learning under Random Observation Delays

基于模型的强化学习在随机观测延迟下的应用

Armin Karamzade, Kyungmin Kim, JB Lanier, Davide Corsi, Roy Fox

机构 * Department of Computer Science（计算机科学系） ； University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title)；model-based RL(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了POMDPs中的随机传感器延迟问题，提出了一种基于模型的过滤过程和延迟感知框架，以提升强化学习在随机延迟环境中的性能。

A Pontryagin Method of Model-based Reinforcement Learning via Hamiltonian Actor-Critic

基于汉密尔顿量的模型驱动强化学习方法：通过汉密尔顿演员-评论家方法

Chengyang Gu, Yuxin Pan, Hui Xiong, Yize Chen

机构 * Information Hub, HKUST (Guangzhou)（香港科技大学（广州）信息枢纽） ； Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Department of Electrical and Computer Engineering, University of Alberta（阿尔伯塔大学电气与计算机工程系） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.LG；dynamics model(abstract)

AI总结 本文提出汉密尔顿演员-评论家方法，通过直接优化汉密尔顿量避免价值函数学习，提升模型驱动强化学习的样本效率和鲁棒性。

Comments 18 pages, 4 figures, in submission

Neural ODE and SDE Models for Adaptation and Planning in Model-Based Reinforcement Learning

神经ODE和SDE模型用于基于模型的强化学习中的适应与规划

Chao Han, Stefanos Ioannou, Luca Manneschi, T. J. Hayward, Michael Mangan, Aditya Gilra, Eleni Vasilaki

机构 * School of Computer Science, The University of Sheffield, UK（谢菲尔德大学计算机科学学院，英国） ； Cancer Research UK National Biomarker Centre, The University of Manchester, UK（英国曼彻斯特大学癌症研究UK国家生物标志物中心） ； School of Chemical, Materials and Biological Engineering, The University of Sheffield, UK（谢菲尔德大学化学、材料和生物工程学院，英国） ； Machine Learning group, Centrum Wiskunde & Informatica, Amsterdam, Netherlands（荷兰阿姆斯特丹Centrum Wiskunde & Informatica机器学习组） ； Institute for Ecological Economics, Vienna University of Economics and Business, Austria（奥地利维也纳经济与商业大学生态经济研究所） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文利用神经ODE和SDE建模随机动力学，通过实验展示SDE在复杂场景中提升策略样本效率的效果，并引入隐式SDE模型应对部分可观测性问题。

Journal ref Transactions on Machine Learning Research (10/2025)

Model-Based Reinforcement Learning Under Confounding

基于模型的强化学习中的混杂问题

Nishanth Venkatesh, Andreas A. Malikopoulos

机构 * Department of Systems Engineering, Cornell University（系统工程系，康奈尔大学） ； School of Civil and Environmental Engineering, Cornell University（土木与环境工程学院，康奈尔大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于模型的强化学习方法，解决上下文不可观测导致的混杂问题，通过近似离策略评估和行为平均转移模型，实现一致的MDP构造和因果熵框架整合。

Comments 9 pages, 2 figures - decompressed draft

SOMBRL: Scalable and Optimistic Model-Based RL

SOMBRL: 可扩展且乐观的基于模型的强化学习

Bhavya Sukhija, Lenart Treven, Carmelo Sferrazza, Florian Dörfler, Pieter Abbeel, Andreas Krause

专题命中 模型式强化学习 ：model-based RL(title)；model-based reinforcement learning(abstract)；分类 cs.LG；dynamics model(abstract)

AI总结 SOMBRL通过结合乐观性原则和不确定性建模，实现了在非线性动力学中具有亚线性遗憾的可扩展基于模型的强化学习方法，并在多个环境中展示了优越的探索性能。

Efficient Model-Based Reinforcement Learning for Robot Control via Online Learning

Fang Nan, Hao Ma, Qinghua Guan, Josie Hughes, Michael Muehlebach, Marco Hutter

机构 * CREATE Lab, EPFL, Lausanne, Switzerland（洛桑联邦理工学院CREATE实验室） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.RO；dynamics model(abstract)

Context-Aware Model-Based Reinforcement Learning for Autonomous Racing

Emran Yasser Moustafa, Ivana Dusparic

机构 * School of Computer Science and Statistics, Trinity College Dublin（计算机科学与统计学系，特里尼蒂学院都柏林） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.LG、cs.RO

Comments Accepted to IEEE ICAR 2025

Kelp: A Streaming Safeguard for Large Models via Latent Dynamics-Guided Risk Detection

Xiaodan Li, Mengjie Wu, Yao Zhu, Yunna Lv, YueFeng Chen, Cen Chen, Jianmei Guo, Hui Xue

机构 * Alibaba（阿里巴巴） 纠错

专题命中 模型式强化学习 ：latent dynamics(title,abstract)；分类 cs.AI、cs.LG

Learning More With Less: Sample Efficient Model-Based RL for Loco-Manipulation

Benjamin Hoffman, Jin Cheng, Chenhao Li, Stelian Coros

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 模型式强化学习 ：model-based RL(title)；model-based reinforcement learning(abstract)；分类 cs.RO；dynamics model(abstract)

Accelerating Model-Based Reinforcement Learning using Non-Linear Trajectory Optimization

Marco Calì, Giulio Giacomuzzo, Ruggero Carli, Alberto Dalla Libera

机构 * Department of Information Engineering of University of Padua（帕多瓦大学信息工程系） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title,abstract)；分类 cs.LG、cs.RO