arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

共收录 4308 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 通用世界模型 4308 篇

2206.01474 2022-06-06 cs.LG stat.ML 93%

Offline Reinforcement Learning with Causal Structured World Models

Zheng-Mao Zhu, Xiong-Hui Chen, Hong-Long Tian, Kun Zhang, Yang Yu

专题命中 通用世界模型 :world model(title);world models(title);world model(title);world models(title)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18803 2026-06-01 cs.LG cs.AI 93%

PROWL: Prioritized Regret-Driven Optimization for World Model Learning

PROWL: 基于优先遗憾驱动的世界模型学习优化

Ahmet H. Güzel, Jenny Seidenschwarz, Benjamin Graham, Jonathan Sadeghi, Jeffrey Hawke, Ilija Bogunovic

机构 * University College London AI Centre(伦敦大学学院人工智能中心) Odyssey University of Basel(巴塞尔大学)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world models(abstract);world-model(abstract)

AI总结 提出一种KL约束的对抗课程,通过训练策略暴露扩散世界模型的高误差轨迹并持续微调,结合优先对抗轨迹缓冲区,解决被动数据中罕见关键转换的鲁棒性问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.03636 2026-03-20 cs.AI cs.CL cs.LG 93%

CausalARC: Abstract Reasoning with Causal World Models

CausalARC:基于因果世界模型的抽象推理

Jacqueline Maasch, John Kalantari, Kia Khezeli

专题命中 通用世界模型 :world model(title,abstract);world models(title,journal_ref);world model(title,abstract);world models(title,journal_ref)

AI总结 CausalARC通过因果世界模型进行低数据和分布外推理,结合原则性数据增强提供少量示例反馈,用于评估语言模型在抽象推理、反事实推理、程序合成和因果发现中的表现。

Comments Peer-reviewed workshop paper

Journal ref 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Bridging Language, Agent, and World Models (LAW)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.06604 2026-01-13 cs.AI cs.LG cs.RO 93%

Object-Centric World Models Meet Monte Carlo Tree Search

以对象为中心的世界模型与蒙特卡洛树搜索

Rodion Vakhitov, Leonid Ugadiarov, Aleksandr Panov

机构 * MIPT Moscow(莫斯科米斯托夫物理技术学院) AIRI(人工智能研究所) FRC CSC RAS(俄罗斯科学院计算机科学与应用数学研究所)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文提出ObjectZero算法,通过对象中心表示和图神经网络,结合蒙特卡洛树搜索实现更有效的环境建模与强化学习。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.16394 2025-10-28 cs.RO cs.AI cs.CV 93%

Raw2Drive: Reinforcement Learning with Aligned World Models for End-to-End Autonomous Driving (in CARLA v2)

Zhenjie Yang, Xiaosong Jia, Qifeng Li, Xue Yang, Maoqing Yao, Junchi Yan

机构 * Sch. of CS, Sch. of AIS, Sch. of AI, Shanghai Jiao Tong University(计算机科学学院、人工智能科学学院、人工智能学院,上海交通大学) Institute of Trustworthy Embodied AI, Fudan University(可信具身人工智能研究院,复旦大学) AgiBot

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Accepted by NeurIPS 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2206.14244 2023-05-30 cs.RO cs.AI cs.CV cs.LG 93%

Masked World Models for Visual Control

Younggyo Seo, Danijar Hafner, Hao Liu, Fangchen Liu, Stephen James, Kimin Lee, Pieter Abbeel

专题命中 通用世界模型 :world model(title);world models(title);world model(title);world models(title)

Comments Project website: https://sites.google.com/view/mwm-rl. Accepted to CoRL 2022

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.09449 2026-08-12 cs.CV 版本更新 93%

Sekai2: From World Exploration to Interactive World Modeling

Sekai2:从世界探索到交互式世界建模

Kang He, Wenshuo Peng, Zihui Gao, Jiaming Tan, Kaipeng Zhang, Yongtao Ge

机构 * Alaya Lab(Alaya实验室) Shanghai Innovation Institute(上海创新研究院) Wuhan University(武汉大学) Tsinghua University(清华大学)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world models(abstract);world-model(abstract)

AI总结 研究人员推出多源真实世界视频数据集Sekai2,其具备丰富观测数据与标注,可用于长时程视频生成、相机可控合成及交互式世界模型预训练。

Comments Sekai2 dataset technical report. Developed at Alaya Lab

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.16443 2026-02-26 cs.LG cs.CV 93%

Object-Centric World Models from Few-Shot Annotations for Sample-Efficient Reinforcement Learning

基于少量标注的面向对象世界模型用于样本高效强化学习

Weipu Zhang, Adam Jelley, Trevor McInroe, Amos Storkey, Gang Wang

机构 * University of Edinburgh(爱丁堡大学) Beijing Institute of Technology(北京理工大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文提出OC-STORM框架,通过面向对象表示提升MBRL在复杂视觉领域的样本效率,实验证明其在Atari和Hollow Knight中的优越性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.01591 2025-07-18 cs.LG cs.AI 93%

Improving Transformer World Models for Data-Efficient RL

Antoine Dedieu, Joseph Ortiz, Xinghua Lou, Carter Wendelken, Wolfgang Lehrach, J Swaroop Guntupalli, Miguel Lazaro-Gredilla, Kevin Patrick Murphy

机构 * Google DeepMind(谷歌DeepMind)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments ICML 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.16693 2025-05-06 cs.LG cs.RO 93%

PIN-WM: Learning Physics-INformed World Models for Non-Prehensile Manipulation

Wenxuan Li, Hang Zhao, Zhiyuan Yu, Yu Du, Qin Zou, Ruizhen Hu, Kai Xu

机构 * National University of Defense Technology(国防科技大学) Wuhan University(武汉大学) Shenzhen University(深圳大学) Guangdong Laboratory of Artificial Intelligence and Digital Economy(广东人工智能与数字经济实验室)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Robotics: Science and Systems 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2403.10967 2024-08-06 cs.LG cs.AI 93%

Dreaming of Many Worlds: Learning Contextual World Models Aids Zero-Shot Generalization

Sai Prasanna, Karim Farid, Raghu Rajan, André Biedenkapp

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments In Reinforcement Learning Conference, 2024. 33 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2112.02817 2024-02-16 cs.LG cs.AI 93%

ED2: Environment Dynamics Decomposition World Models for Continuous Control

Jianye Hao, Yifu Yuan, Cong Wang, Zhen Wang

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments 10 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2303.07109 2023-03-14 cs.LG cs.AI stat.ML 93%

Transformer-based World Models Are Happy With 100k Interactions

Jan Robine, Marc Höftmann, Tobias Uelwer, Stefan Harmeling

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Published as a conference paper at ICLR 2023. Code is available at https://github.com/jrobine/twm

详情

展开后加载摘要…

URL PDF HTML 收藏
1910.13038 2019-11-01 cs.NE cs.LG 93%

Learning to Predict Without Looking Ahead: World Models Without Forward Prediction

C. Daniel Freeman, Luke Metz, David Ha

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments To appear at the Thirty-third Conference on Neural Information Processing Systems (NeurIPS 2019)

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.28963 2026-07-28 cs.RO cs.AI cs.CV cs.LG 版本更新 93%

AutoWorld: Learning Multi-Agent Traffic Simulation with Self-Supervised World Models

AutoWorld: 通过自监督世界模型扩展多智能体交通仿真

Mozhgan Pourkeshavarz, Tianran Liu, Nicholas Rhinehart

机构 * University of Toronto(多伦多大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文提出AutoWorld框架,利用未标记的LiDAR数据自监督学习世界模型,提升多智能体交通仿真的真实感与性能,实验表明未标记数据能有效提升仿真效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.07083 2026-04-15 cs.LG 93%

Dreamer-CDP: Improving Reconstruction-free World Models Via Continuous Deterministic Representation Prediction

Dreamer-CDP: 通过连续确定性表示预测改进无重建世界模型

Michael Hauri, Friedemann Zenke

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文提出Dreamer-CDP,通过连续确定性表示预测提升世界模型性能,在Crafter环境中达到与传统重建方法相当的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.24546 2025-10-29 cs.IT cs.LG math.IT 93%

Dual-Mind World Models: A General Framework for Learning in Dynamic Wireless Networks

Lingyi Wang, Rashed Shelim, Walid Saad, Naren Ramakrishnan

机构 * Bradley Department of Electrical and Computer Engineering, Virginia Tech(弗吉尼亚理工大学电气与计算机工程系) Department of Computer Science, Virginia Tech(弗吉尼亚理工大学计算机科学系)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.15047 2025-10-20 cs.LG cs.CL 93%

Internalizing World Models via Self-Play Finetuning for Agentic RL

Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li

机构 * City University of Hong Kong(香港城市大学) Northwestern University(西北大学) The Hong Kong University of Science and Technology(香港科学与技术大学) Oxford University(牛津大学) Allen Institute for AI (AI2)(人工智能研究所) University of Washington(华盛顿大学) National University of Singapore(新加坡国立大学) The Hong Kong Polytechnic University(香港理工大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.01584 2025-06-30 cs.AI 93%

SENSEI: Semantic Exploration Guided by Foundation Models to Learn Versatile World Models

Cansu Sancaktar, Christian Gumbsch, Andrii Zadaianchuk, Pavel Kolev, Georg Martius

机构 * Autonomous Learning, University of Tübingen(图宾根大学自主学习研究所) Empirical Inference, Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所) Neuro-Cognitive Modeling, University of Tübingen(图宾根大学神经认知建模研究所) VISLab, University of Amsterdam(阿姆斯特丹大学视觉实验室)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments ICML 2025 camera-ready version. Project webpage at https://sites.google.com/view/sensei-paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2412.03572 2025-04-15 cs.CV cs.AI cs.LG cs.RO 93%

Navigation World Models

Amir Bar, Gaoyue Zhou, Danny Tran, Trevor Darrell, Yann LeCun

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments CVPR 2025. Project page: https://www.amirbar.net/nwm/

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.19548 2024-12-02 cs.CV cs.AI cs.LG cs.RO 93%

ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration

Chaojun Ni, Guosheng Zhao, Xiaofeng Wang, Zheng Zhu, Wenkang Qin, Guan Huang, Chen Liu, Yuyin Chen, Yida Wang, Xueyang Zhang, Yifei Zhan, Kun Zhan, Peng Jia, Xianpeng Lang, Xingang Wang, Wenjun Mei

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Project Page: https://recondreamer.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2202.09481 2024-11-20 cs.LG 93%

TransDreamer: Reinforcement Learning with Transformer World Models

Chang Chen, Yi-Fu Wu, Jaesik Yoon, Sungjin Ahn

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Deep RL Workshop NeurIPS 2021

详情

展开后加载摘要…

URL PDF HTML 收藏
2405.04390 2024-05-08 cs.CV 93%

DriveWorld: 4D Pre-trained Scene Understanding via World Models for Autonomous Driving

Chen Min, Dawei Zhao, Liang Xiao, Jian Zhao, Xinli Xu, Zheng Zhu, Lei Jin, Jianshu Li, Yulan Guo, Junliang Xing, Liping Jing, Yiming Nie, Bin Dai

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments Accepted by CVPR2024

详情

展开后加载摘要…

URL PDF HTML 收藏
2306.11335 2024-03-21 cs.RO cs.AI cs.CV cs.LG 93%

Surfer: Progressive Reasoning with World Models for Robotic Manipulation

Pengzhen Ren, Kaidong Zhang, Hetao Zheng, Zixuan Li, Yuhang Wen, Fengda Zhu, Mas Ma, Xiaodan Liang

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

详情

展开后加载摘要…

URL PDF HTML 收藏
2310.09615 2023-12-27 cs.LG 93%

STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning

Weipu Zhang, Gang Wang, Jian Sun, Yetian Yuan, Gao Huang

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

详情

展开后加载摘要…

URL PDF HTML 收藏
2205.01435 2022-05-11 cs.LG 93%

RLFlow: Optimising Neural Network Subgraph Transformation with World Models

Sean Parker, Sami Alabed, Eiko Yoneki

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments 14 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2110.09514 2021-10-19 cs.LG cs.AI cs.CV cs.RO stat.ML 93%

Discovering and Achieving Goals via World Models

Russell Mendonca, Oleh Rybkin, Kostas Daniilidis, Danijar Hafner, Deepak Pathak

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

Comments NeurIPS 2021. First two authors contributed equally. Website at https://orybkin.github.io/lexa/

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.04553 2026-03-06 cs.LG 93%

Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling

潜在粒子世界模型:自监督的以对象为中心的随机动态建模

Tal Daniel, Carl Qi, Dan Haramati, Amir Zadeh, Chuan Li, Aviv Tamar, Deepak Pathak, David Held

机构 * Carnegie Mellon University(卡内基梅隆大学) UT Austin(德克萨斯大学奥斯汀分校) Brown University(布朗大学) Lambda Technion(技术学院)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 LPWM通过自监督学习实现现实世界多对象数据的随机动态建模,并在决策制定中展现卓越性能。

Comments ICLR 2026 Oral. Project webpage: https://taldatech.github.io/lpwm-web

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.08713 2026-08-19 cs.AI cs.CV cs.RO 版本更新 93%

Towards Unified World Models for Visual Navigation via Memory-Augmented Planning and Foresight

通过记忆增强的规划和前瞻性构建视觉导航的统一世界模型

Yifei Dong, Fengyi Wu, Guangyu Chen, Lingdong Kong, Qiyu Hu, Yuxuan Zhou, Xu Zhu, Jingdong Sun, Jun-Yan He, Qi Dai, Alexander G. Hauptmann, Zhi-Qi Cheng

机构 * University of Washington(华盛顿大学) National University of Singapore(新加坡国立大学) Apple(苹果公司) Microsoft Research(微软研究院) Carnegie Mellon University(卡内基梅隆大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 本文提出UniWM,一种整合视觉前瞻性与规划的统一世界模型,通过记忆机制提升导航鲁棒性和泛化能力,在多个基准测试中显著提升导航成功率。

Comments Accepted to ECCV 2026. 22 pages, 12 figures, code: https://github.com/UWMILab/UniWM

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13438 2026-08-14 cs.RO cs.AI cs.CV 新提交 93%

ContactGuard: Pre-Contact Execution Monitoring with Action-Conditioned Latent World Models

ContactGuard:基于动作条件潜世界模型的接触前执行监控器

Gehan Zheng, Matthew Johnson-Roberson, Weiming Zhi

机构 * College of Connected Computing, Vanderbilt University(范德堡大学连接计算学院) School of Computer Science, The University of Sydney(悉尼大学计算机学院) Australian Centre for Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 ContactGuard是基于动作条件潜世界模型的接触前执行监控器,通过预测接触前动作的潜态后果判断是否失败,能准确预测接触型操纵任务失败,可迁移至真实机器人且无需修改底层策略。

Comments 14 pages, 5 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏