世界模型

Latent World Models for Automated Driving: A Unified Taxonomy, Evaluation Framework, and Open Challenges

潜在世界模型用于自动驾驶：一种统一的分类法、评估框架和开放挑战

Rongxiang Zeng, Yongqi Dong

机构 * RWTH Aachen University（亚琛工业大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出统一的潜在空间框架，整合自动驾驶世界模型的最新进展，探讨潜在表示的分类、评估方法及未来研究方向。

Comments 17 pages, 6 figures, under review by IEEE Transactions on Intelligent Transportation Systems (IEEE-T-ITS)

From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

从像素到谓词：通过预训练视觉-语言模型学习符号世界模型

Ashay Athalye, Nishanth Kumar, Tom Silver, Yichao Liang, Jiuguang Wang, Tomás Lozano-Pérez, Leslie Pack Kaelbling

机构 * MIT（麻省理工学院） ； Princeton University（普林斯顿大学） ； University of Cambridge（剑桥大学） ； RAI Institute（RAI研究院） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 通过预训练视觉-语言模型学习符号世界模型，以实现复杂机器人领域中长周期决策制定的零样本泛化。

Comments A version of this paper appears in the official proceedings of RA-L, Volume 11, Issue 4

DDP-WM: Disentangled Dynamics Prediction for Efficient World Models

DDP-WM：用于高效世界模型的解耦动态预测

Shicheng Yin, Kaixuan Yin, Weixing Chen, Yang Liu, Guanbin Li, Liang Lin

机构 * School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou, China（计算机科学与工程学院，中山大学，广州，中国） ； X-Era AI Lab（X-Era人工智能实验室） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 DDP-WM通过解耦动态预测原理，提升世界模型的效率与性能，适用于导航、桌面操作及复杂交互任务。

Comments Efficient and high-fidelity world model. Code is available at https://hcplab-sysu.github.io/DDP-WM

Compositional Planning with Jumpy World Models

基于跳跃世界模型的组合规划

Jesse Farebrother, Matteo Pirotta, Andrea Tirinzoni, Marc G. Bellemare, Alessandro Lazaric, Ahmed Touati

机构 * FAIR at Meta ； Mila -- Qu\'ebec AI Institute ； McGill University 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出基于跳跃世界模型的组合规划方法，通过学习多步动态预测模型提升长时间任务的规划性能，实现复杂任务的解决。

BiTAgent: A Task-Aware Modular Framework for Bidirectional Coupling between Multimodal Large Language Models and World Models

BiTAgent: 一种面向任务的模块化框架，用于多模态大语言模型与世界模型之间的双向耦合

Yu-Wei Zhan, Xin Wang, Pengzhe Mao, Tongtong Feng, Ren Wang, Wenwu Zhu

机构 * Tsinghua University（清华大学） ； Shandong University（山东大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 BiTAgent通过双向耦合多模态大语言模型与世界模型，实现任务感知的动态联合学习，提升多任务和跨环境的泛化能力。

Dynamic Sparsity: Challenging Common Sparsity Assumptions for Learning World Models in Robotic Reinforcement Learning Benchmarks

Muthukumar Pandaram, Jakob Hollenstein, David Drexel, Samuele Tosatto, Antonio Rodríguez-Sánchez, Justus Piater

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Natural Building Blocks for Structured World Models: Theory, Evidence, and Scaling

Lancelot Da Costa, Sanjeev Namjoshi, Mohammed Abbas Ansari, Bernhard Schölkopf

机构 * VERSES AI Research Lab（VERSES AI研究实验室） ； University of Tübingen（图宾根大学） ； ELLIS Institute, Tübingen（图宾根ELLIS研究所） ； MPI for Intelligent Systems, Tübingen（图宾根智能系统研究所） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments 13 pages, 3 figures, under review for World Modeling Workshop 2026

PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis

Yu Yang, Zhilu Zhang, Xiang Zhang, Yihan Zeng, Hui Li, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments 17 pages, 5 figures

General agents contain world models

Jonathan Richens, David Abel, Alexis Bellot, Tom Everitt

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments Accepted ICML 2025. Typos corrected

Explainable Reinforcement Learning Agents Using World Models

Madhuri Singh, Amal Alabdulkarim, Gennie Mansi, Mark O. Riedl

机构 * School of Interactive Computing, Georgia Institute of Technology（交互计算学院，佐治亚理工学院） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments Accepted by Workshop on Explainable Artificial Intelligence (XAI) at IJCAI 2025

Discrete Codebook World Models for Continuous Control

Aidan Scannell, Mohammadreza Nakhaei, Kalle Kujanpää, Yi Zhao, Kevin Sebastian Luck, Arno Solin, Joni Pajarinen

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments 38 pages, 21 figures, published in The Thirteenth International Conference on Learning Representations, ICLR 2025

VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning

Yichao Liang, Nishanth Kumar, Hao Tang, Adrian Weller, Joshua B. Tenenbaum, Tom Silver, João F. Henriques, Kevin Ellis

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments ICLR 2025 (Spotlight)

DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning

Gaoyue Zhou, Hengkai Pan, Yann LeCun, Lerrel Pinto

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

UniZero: Generalized and Efficient Planning with Scalable Latent World Models

Yuan Pu, Yazhe Niu, Zhenjie Yang, Jiyuan Ren, Hongsheng Li, Yu Liu

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments 42 pages, 22 figures

AVID: Adapting Video Diffusion Models to World Models

Marc Rigter, Tarun Gupta, Agrin Hilmkil, Chao Ma

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments Project Webpage: https://sites.google.com/view/avid-world-model-adapters/home

GenRL: Multimodal-foundation world models for generalization in embodied agents

Pietro Mazzaglia, Tim Verbelen, Bart Dhoedt, Aaron Courville, Sai Rajeswar

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments Presented at NeurIPS 2024

CoDreamer: Communication-Based Decentralised World Models

Edan Toledo, Amanda Prorok

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

HarmonyDream: Task Harmonization Inside World Models

Haoyu Ma, Jialong Wu, Ningya Feng, Chenjun Xiao, Dong Li, Jianye Hao, Jianmin Wang, Mingsheng Long

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments ICML 2024. Code is available at https://github.com/thuml/HarmonyDream

Copilot4D: Learning Unsupervised World Models for Autonomous Driving via Discrete Diffusion

Lunjun Zhang, Yuwen Xiong, Ze Yang, Sergio Casas, Rui Hu, Raquel Urtasun

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments ICLR 2024

Mastering Memory Tasks with World Models

Mohammad Reza Samsami, Artem Zholus, Janarthanan Rajendran, Sarath Chandar

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments Published as a conference paper at The International Conference on Learning Representations 2024

Language Models, Agent Models, and World Models: The LAW for Machine Reasoning and Planning

Zhiting Hu, Tianmin Shu

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Comments Position paper. Accompanying NeurIPS2023 Tutorial: https://sites.google.com/view/neurips2023law/home

Cycle-Consistent World Models for Domain Independent Latent Imagination

Sidney Bender, Tim Joseph, Marius Zoellner

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search

迈向编译器世界模型：学习潜在动态以实现高效张量程序搜索

Haolin Pan, Lianghong Huang, Xvlin Zhou, Mingjie Xing, Yanjun Wu

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 通用世界模型 ：world model(title)；world models(title)；latent dynamics(title,abstract)；world model(title)

AI总结 提出一种受世界模型启发的评估器，通过轻量级过渡模型在连续潜在空间中展开调度动作，避免昂贵AST变异和重复编码，在TVM AutoScheduler中实现比Ansor更优的延迟和测量效率。

Structured Latent Dynamics in Wireless CSI via Homomorphic World Models

通过同态世界模型在无线CSI中实现结构化潜在动态

Salmane Naoumi, Mehdi Bennis, Marwa Chafii

机构 * Engineering Division, New York University (NYU), Abu Dhabi, UAE.（纽约大学阿布扎克分校工程系） ； Center for Wireless Communications, University of Oulu, Finland.（奥卢大学无线通信中心） ； NYU WIRELESS, NYU Tandon School of Engineering, New York, USA.（纽约大学无线技术实验室，纽约大学坦顿工程学院） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title)；world model(title,abstract)；latent dynamics(title,abstract)

AI总结 本文提出一种自监督框架，通过建模CSI的时间演变，在紧凑的潜在空间中学习无线信道的预测和结构化表示，利用JEPA学习动作条件的潜在动态，通过同态更新提升几何一致性和组合性，实验表明其在保持拓扑和预测未来嵌入方面优于基线方法。

Comments ACCEPTED FOR PUBLICATION IN IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC) 2026

Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models

划分支撑集，重建残差：用于视频生成和世界模型的无训练稀疏注意力

Pardis Taghavi, Reza Langari, Gaurav Pandey

机构 * Texas A&M University（德克萨斯农工大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出SparsePR算法，结合响应耦合划分与探针拟合残差重建，在四个视频生成和世界模型上实现注意力重建误差降低，22.0%-26.0%执行对密度下保持生成质量，获1.48-2.61倍端到端加速。

Comments 22 pages, 5 figures. Project page: https://pardistaghavi.github.io/SparsePR-website/

hint$^2$: Hierarchical World Models for Inference-Time Temporal Logic Guidance

hint$^2$：用于推理时态逻辑引导的分层世界模型

Moritz Zoellner, Anastasios Manganaris, Ahmed H. Qureshi, Rohan Paleja

机构 * Purdue University（普渡大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 本文提出hint$^2$，一种用分层世界模型引导策略满足LTL规范的方法，在CALVIN基准及真实UR5e机械臂实验中，其性能优于现有推理引导方法。

Comments Videos available on our project page: https://anonymous-hint2.github.io/

TaskSense: Focusing on What Matters in World Models

TaskSense：聚焦世界模型中的关键内容

SM Mazharul Islam, Manfred Huber

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 TaskSense是一种以任务为中心的世界建模框架，通过可微随机空间注意力机制结合辅助逆动力学目标，提升了视觉控制模型对干扰环境的鲁棒性，在Distracting Control Suite上性能优于DreamerV3。

Action from Adjacent Set in Physical Space Outperforms the Best Prediction in World Models

物理空间中相邻集的动作优于世界模型中的最佳预测

Liangyu Li, Qingwen Liu, Mingqing Liu

机构 * Tongji University（同济大学） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 研究基于采样和潜在世界模型的控制器存在的条件失败提议过度生成问题，提出相邻集动作重建（ASAR）方法，在携带和释放评估集上，相比匹配选择提高了事件完成成功率，还刻画了选择风险。

Comments 26 pages, 7 figures. Includes supplementary material

Multiplayer Interactive World Models with Representation Autoencoders

基于表示自编码器的多智能体交互世界模型

Anthony Hu, Václav Volhejn, Adrien Ramanana Rahary, Chris Mulder, Aditya Makkar, Alyx Liao, Amélie Royer, Manu Orsini, Adam Jelley, Eloi Alonso, Florian Laurent, Fredrik Norén, James Swingos, Jan Hünermann, Kent Rollins, Lucas Hosseini, Matthieu Le Cauchois, Maxim Peter, Pim de Witte, Tim Brown, Vincent Micheli, Moritz Böhle, Gabriel de Marmiesse, Viktoriia Sharmanska, Lucia Specia, Michael Black, Patrick Pérez

机构 * Epic Games ； École nationale des ponts et chaussées（法国国家桥梁与道路学院） 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 针对复杂物理交互的高动态环境，该研究提出首个多智能体世界模型，以多智能体动作流为条件训练隐扩散模型，可实时生成稳定长时四智能体对局，开源相关资源。

Comments Technical report

Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models

使用潜在空间生成世界模型减轻自动驾驶模仿学习中的协变量转移

Alexander Popov, Alperen Degirmenci, David Wehr, Shashank Hegde, Ryan Oldja, Alexey Kamenev, Bertrand Douillard, David Nistér, Urs Muller, Ruchi Bhargava, Stan Birchfield, Nikolai Smolyanskiy

机构 * NVIDIA 纠错

专题命中 通用世界模型 ：world model(title,abstract)；world models(title,abstract)；world model(title,abstract)；world models(title,abstract)

AI总结 提出用潜在空间生成世界模型解决自动驾驶协变量转移问题，训练时利用世界模型减轻该问题，无需大量训练数据，还引入新感知编码器，实验显示相比之前有显著改进。

Comments 8 pages, 6 figures, original September 2024, accepted at ICRA 2025 Workshop "Robots in the Wild", for associated video file, see https://youtu.be/7m3bXzlVQvU