arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

共收录 320 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 仿真与规划 320 篇

2605.28842 2026-05-29 cs.CL cs.AI 92%

Thoughts-as-Planning: Latent World Models for Chain-of-Thoughts Optimization via Reinforcement Planning

思想即规划:通过强化规划进行思维链优化的潜在世界模型

Dong Liu, Yanxuan Yu, Ying Nian Wu

机构 * University of California, Los Angeles(加州大学洛杉矶分校) Columbia University(哥伦比亚大学)

专题命中 仿真与规划 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 提出Thoughts-as-Planning框架,将思维链优化形式化为潜在语义空间中的序贯决策过程,通过潜在世界模型模拟推理链编辑对下游输出的影响,并利用梯度下降或强化学习进行规划,在语言理解和生成任务上优于现有基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.01392 2026-02-27 cs.RO cs.AI cs.CV 91%

Sparse Imagination for Efficient Visual World Model Planning

稀疏想象用于高效的视觉世界模型规划

Junha Chun, Youngjoon Jeong, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学) Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学)

专题命中 仿真与规划 :world model(title,abstract);world model(title,abstract);world models(abstract);world models(abstract)

AI总结 本文提出稀疏想象方法,通过减少标记处理数量提升视觉世界模型规划效率,同时保持高控制保真度。

Comments Accepted to ICLR 2026; Project Page: https://nikriz1.github.io/sparse_imagination/

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.15583 2026-03-17 cs.CV 88%

Grounding World Simulation Models in a Real-World Metropolis

将世界模拟模型扎根于现实世界中的城市

Junyoung Seo, Hyunwook Choi, Minkyung Kwon, Jinhyeok Choi, Siyoon Jin, Gayoung Lee, Junho Kim, JoungBin Lee, Geonmo Gu, Dongyoon Han, Sangdoo Yun, Seungryong Kim, Jin-Hwa Kim

机构 * KAIST AI(韩国科学技术院人工智能研究中心) NAVER AI Lab(NAVER人工智能实验室) SNU AIIS(成均馆大学人工智能研究所)

专题命中 仿真与规划 :world model(abstract);world models(abstract);video world model(abstract);simulation model(title,abstract)

AI总结 本文提出Seoul World Model,通过检索增强的条件生成真实城市场景,解决时间错位和轨迹多样性问题,生成高保真、时序一致的长时景视频。

Comments project page: https://seoul-world-model.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.11302 2026-04-14 cs.RO cs.AI 88%

3D-Anchored Lookahead Planning for Persistent Robotic Scene Memory via World-Model-Based MCTS

基于世界模型的MCTS的3D锚定前瞻性规划用于持久性机器人场景记忆

Bronislav Sidik, Dror Mizrahi

机构 * Huawei Technologies, Israel R&D Center(华为技术有限公司以色列研发中心)

专题命中 仿真与规划 :world-model(title);world-model(title);world model(abstract);world model(abstract)

AI总结 本文提出3D-Anchored Lookahead Planning,结合MCTS与3D一致的世界模型,通过持续的相机到世界锚点实现精准重规划,提升了机器人在需要空间记忆任务中的成功率。

Comments 5 pages, 1 figure, 1 table

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.18619 2025-12-23 cs.AI cs.RO 88%

ChronoDreamer: Action-Conditioned World Model as an Online Simulator for Robotic Planning

ChronoDreamer:基于动作的动态世界模型作为机器人规划的在线模拟器

Zhenhao Zhou, Dan Negrut

机构 * University of Wisconsin–Madison(威斯康星大学麦迪逊分校)

专题命中 仿真与规划 :world model(title,abstract);world model(title,abstract);分类 cs.AI、cs.RO

AI总结 ChronoDreamer通过时空变换器和视觉-语言模型,实现基于动作的动态世界模型,用于机器人规划中的安全动作预测与碰撞检测。

详情

展开后加载摘要…

URL PDF HTML 收藏
2407.10311 2024-07-16 cs.AI cs.CL cs.CV 88%

Sora and V-JEPA Have Not Learned The Complete Real World Model -- A Philosophical Analysis of Video AIs Through the Theory of Productive Imagination

Jianqiu Zhang

专题命中 仿真与规划 :world model(title,abstract);world model(title,abstract);分类 cs.AI、cs.CV

Comments 30 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27483 2026-06-29 cs.AI 新提交 88%

Internalizing the Future: A Unified Agentic Training Paradigm for World Model Planning

内化未来:一种统一的世界模型规划智能体训练范式

Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院) Tencent Youtu Lab(腾讯优图实验室)

专题命中 仿真与规划 :world model(title,abstract);world model(title,abstract);分类 cs.AI

AI总结 提出一种三阶段训练范式(WM-AMT、FE-SFT、FC-RL),使LLM智能体内化世界模型以进行前瞻性规划,在搜索和数学推理任务上优于基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28810 2026-05-28 cs.LG cs.IR cs.SD 88%

Affective Music Recommendation: A Rollout-Based World Model for Offline Preference Optimization

情感音乐推荐:基于展开世界模型的离线偏好优化

Audrey Chan, Aaron Labbé, Jacob Lavoie, Jordan Bannister, Arsène Fansi Tchango, Guillaume Lajoie, Laurent Charlin

机构 * LUCID Inc. Toronto Canada LUCID Inc. Montr\' e al Canada Mila --- Qu\' e bec AI Institute Montr\' e al Canada LUCID Inc. Mila --- Qu\' e bec AI Institute

专题命中 仿真与规划 :world model(title,abstract);world model(title,abstract);分类 cs.LG

AI总结 针对在线情感实验受伦理限制的问题,提出基于展开世界模型的情感音乐推荐系统AMRS,利用因果Transformer预测用户情感状态,并通过离线偏好优化提升推荐效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.29585 2026-04-06 cs.GR cs.AI 88%

Learn2Fold: Structured Origami Generation with World Model Planning

Learn2Fold: 基于世界模型规划的结构化折纸生成

Yanjia Huang, Yunuo Chen, Ying Jiang, Jinru Han, Zhengzhong Tu, Yin Yang, Chenfanfu Jiang

专题命中 仿真与规划 :world model(title,abstract);world model(title,abstract);分类 cs.AI

AI总结 本文提出Learn2Fold框架,通过结合符号推理与物理模拟,解决从文本生成物理有效的折纸折叠序列问题。

Comments 9 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01765 2026-04-03 cs.CV cs.AI cs.RO 87%

DriveDreamer-Policy: A Geometry-Grounded World-Action Model for Unified Generation and Planning

DriveDreamer-Policy: 一种基于几何的世界-动作模型用于统一生成与规划

Yang Zhou, Xiaofeng Wang, Hao Shao, Letian Wang, Guosheng Zhao, Jiangnan Shao, Jiagang Zhu, Tingdong Yu, Zheng Zhu, Guan Huang, Steven L. Waslander

机构 * GigaAI University of Toronto(多伦多大学) CUHK MMLab(香港中文大学多媒体实验室)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world-model(abstract);world model(abstract)

AI总结 本文提出DriveDreamer-Policy,结合深度生成、未来视频生成与运动规划,通过几何感知的世界表示提升生成与规划的连贯性与准确性。

Comments 11 pages, 4 figures; Project Website: https://drivedreamer-policy.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.11428 2026-03-03 cs.CV 86%

ImagiDrive: A Unified Imagination-and-Planning Framework for Autonomous Driving

ImagiDrive: 一种用于自动驾驶的统一想象与规划框架

Jingyu Li, Bozhou Zhang, Xin Jin, Jiankang Deng, Xiatian Zhu, Li Zhang

机构 * School of Data Science, Fudan University(复旦大学数据科学学院) Shanghai Innovation Institute(上海创新研究院) Eastern Institute of Technology(技术东院) Imperial College London(伦敦帝国理工学院) University of Surrey(萨里大学)

专题命中 仿真与规划 :world model(abstract);world models(abstract);driving world model(abstract);world model(abstract)

AI总结 ImagiDrive通过整合视觉-语言模型和驾驶世界模型,实现自动驾驶中的统一想象与规划循环,提升场景生成和决策预测的准确性与效率。

Comments Accepted for publication in 2026 IEEE International Conference on Robotics and Automation (ICRA)

详情

展开后加载摘要…

URL PDF HTML 收藏
2406.15850 2024-06-25 cs.LG cs.AI 85%

Learning Abstract World Model for Value-preserving Planning with Options

Rafael Rodriguez-Sanchez, George Konidaris

专题命中 仿真与规划 :world model(title);world model(title);分类 cs.AI、cs.LG

Comments Published in the Proceedings of Reinforcement Learning Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.14514 2026-01-22 cs.AI q-bio.NC 84%

"Just in Time" World Modeling Supports Human Planning and Reasoning

即时世界建模支持人类规划与推理

Tony Chen, Sam Cheyette, Kelsey Allen, Joshua Tenenbaum, Kevin Smith

机构 * MIT Department of Brain and Cognitive Sciences(麻省理工学院脑科学与认知科学系) UBC Departments of Computer Science and Psychology(不列颠哥伦比亚大学计算机科学与心理学系)

专题命中 仿真与规划 :world model(title);world model(title);分类 cs.AI

AI总结 本文提出'即时'框架,通过在线构建简化表示实现高效心理模拟,支持人类规划与推理。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.29032 2026-06-30 cs.LG stat.ML 83%

Theoretical Foundations and Effective Algorithms for Policy-Aware Simulator Learning

策略感知模拟器学习的理论基础与有效算法

Christoph Dann, Yishay Mansour, Mehryar Mohri

机构 * Google Research(谷歌研究) Tel Aviv University(特拉维夫大学) Courant Institute of Mathematical Sciences(数学科学学院)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 针对模型强化学习中模拟器利用问题,提出以策略鲁棒性为目标,通过零和极小极大博弈学习模拟器,并给出理论保证与有效算法。

详情

展开后加载摘要…

URL PDF HTML 收藏
nlin/0306015 2009-11-30 nlin.AO q-bio 83%

Learning a world model and planning with a self-organizing, dynamic neural system

Marc Toussaint

专题命中 仿真与规划 :world model(title);world model(title)

Comments 9 pages, see http://www.marc-toussaint.net/

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.24388 2025-04-02 cs.AI cs.CL cs.CV cs.LG 83%

RIG: Synergizing Reasoning and Imagination in End-to-End Generalist Policy

Zhonghan Zhao, Wenwei Zhang, Haian Huang, Kuikun Liu, Jianfei Gao, Gaoang Wang, Kai Chen

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

详情

展开后加载摘要…

URL PDF HTML 收藏
2303.13002 2023-03-24 cs.LG cs.AI cs.RO 83%

Planning Goals for Exploration

Edward S. Hu, Richard Chang, Oleh Rybkin, Dinesh Jayaraman

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

Comments Camera Ready version for ICLR2023 Spotlight

详情

展开后加载摘要…

URL PDF HTML 收藏
2103.04909 2022-03-01 cs.LG cs.AI cs.NE cs.RO 83%

Latent Imagination Facilitates Zero-Shot Transfer in Autonomous Racing

Axel Brunnbauer, Luigi Berducci, Andreas Brandstätter, Mathias Lechner, Ramin Hasani, Daniela Rus, Radu Grosu

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

Comments This paper is accepted for presentation at the International Conference on Robotics and Automation (ICRA), 2022

详情

展开后加载摘要…

URL PDF HTML 收藏
1912.01603 2020-03-18 cs.LG cs.AI cs.RO 83%

Dream to Control: Learning Behaviors by Latent Imagination

Danijar Hafner, Timothy Lillicrap, Jimmy Ba, Mohammad Norouzi

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

Comments 9 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20627 2026-06-23 cs.AI cs.LG 新提交 82%

Latent Goal Prediction from Language for Model-Based Planning

基于语言隐式目标预测的模型规划

Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

机构 * École de Technologie Supérieure, Montréal(蒙特利尔高等技术学院) International Laboratory on Learning Systems (ILLS)(国际学习系统实验室) Polytechnique Montréal(蒙特利尔综合理工学院) MILA Institut Universitaire de France (IUF)(法国大学研究院) Université Sorbonne, CNRS, ISIR(索邦大学,法国国家科学研究中心,智能系统与机器人研究所)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 提出LAGO框架,通过在同一隐空间预测语言指令的中间子目标序列和动作条件轨迹,结合软最小轨迹代价规划,实现长程鲁棒规划。

Comments 9 pages. Preprint under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22456 2026-05-22 cs.RO cs.AI 82%

Steins;Gate Drive: Semantic Safety Arbitration over Structured Futures for Latency-Decoupled LLM Planning

Steins;Gate Drive: 基于结构化未来语义安全仲裁的延迟解耦LLM规划

Anjie Qiu, Hans D. Schotten

机构 * Institute for Wireless Communication and Navigation(无线通信与导航研究所) RPTU University Kaiserslautern-Landau(凯撒斯劳滕-兰道大学) German Research Center for Artificial Intelligence(德国人工智能研究中心)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 本文提出SteinsGateDrive架构,通过延迟解耦规划与运行时架构,在保持安全边界的同时,将有效延迟从+3.07秒减少到-0.01秒,提升了自动驾驶的规划效率。

Comments 10 pages, 2 figures, 5 tables, submitted to IEEE transaction of intelligent vehicles

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.06981 2025-12-02 cs.AI cs.LG 82%

Deep RL Needs Deep Behavior Analysis: Exploring Implicit Planning by Model-Free Agents in Open-Ended Environments

深度强化学习需要深度行为分析:通过无模型智能体在开放性环境中探索隐式规划

Riley Simmons-Edler, Ryan P. Badman, Felix Baastad Berg, Raymond Chua, John J. Vastola, Joshua Lunger, William Qian, Kanaka Rajan

机构 * Department of Neurobiology, Harvard Medical School(哈佛医学院神经生物学系) Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(哈佛大学自然与人工智能研究学院) Department of Mathematics, NTNU(NTNU数学系) School of Computer Science, McGill University & Mila(麦吉尔大学计算机科学学院及Mila) Department of Computer Science, University of Toronto(多伦多大学计算机科学系) Biophysics Graduate Program, Harvard University(哈佛大学生物物理学研究生项目)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 本文通过ForageWorld环境研究DRL智能体的行为,发现无模型智能体可通过涌现动态展现规划行为,提出通用分析框架用于研究复杂智能体的学习动态。

Comments Published at NeurIPS 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.04390 2025-10-07 cs.CV cs.AI cs.CL 82%

MorphoSim: An Interactive, Controllable, and Editable Language-guided 4D World Simulator

Xuehai He, Shijie Zhou, Thivyanth Venkateswaran, Kaizhi Zheng, Ziyu Wan, Achuta Kadambi, Xin Eric Wang

机构 * University of California, Santa Cruz(加州大学圣克ruz分校) University of California, Los Angeles(加州大学洛杉矶分校) IIT Bombay(印度理工学院班加罗尔) Microsoft(微软公司)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.04931 2025-03-10 cs.RO cs.AI 82%

Curiosity-Driven Imagination: Discovering Plan Operators and Learning Associated Policies for Open-World Adaptation

Pierrick Lorang, Hong Lu, Matthias Scheutz

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

Comments 8 pages, 4 figures. Accepted at ICRA 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2306.04440 2024-03-25 cs.AI cs.LG 82%

Dual policy as self-model for planning

Jaesung Yoo, Fernanda de la Torre, Guangyu Robert Yang

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

详情

展开后加载摘要…

URL PDF HTML 收藏
2310.09997 2023-10-17 cs.AI cs.LG cs.SY eess.SY 82%

Forecaster: Towards Temporally Abstract Tree-Search Planning from Pixels

Thomas Jiralerspong, Flemming Kondrup, Doina Precup, Khimya Khetarpal

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.16287 2026-08-18 cs.LG 新提交 81%

SCALE: State-Calibrated Latent Embeddings for JEPA Planning in the Right Geometry

SCALE:用于正确几何空间中JEPA规划的状态校准潜在嵌入

Jiaming Hu, Yan Zheng, Tian Wang

机构 * Boston University(波士顿大学) Unity Technologies(Unity科技公司)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 该研究提出SCALE正则化器,为LeWM表示校准几何属性,在多任务、多求解器和多计算预算下均提升规划性能,证明规划依赖信息对几何的塑造作用。

Comments 15 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.12231 2026-08-12 cs.LG 版本更新 81%

Temporal Straightening for Latent Planning

时间拉直用于隐式规划

Ying Wang, Oumayma Bounou, Gaoyue Zhou, Randall Balestriero, Tim G. J. Rudner, Yann LeCun, Mengye Ren

机构 * New York University(纽约大学) Brown University(布朗大学) University of Toronto(多伦多大学)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 受人类视觉处理中感知拉直假说启发,提出时间拉直方法,通过曲率正则化联合学习JEPA世界模型的编码器和预测器,改善隐式规划中的表示学习,使梯度规划更稳定并提高目标到达任务成功率。

Comments ICML2026 Camera Ready

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08070 2026-08-11 cs.RO 新提交 81%

SurgWMBench: A Vision-Based Benchmark for World-Modeling Surgical Instrument Motion Planning

SurgWMBench:面向世界建模的手术器械运动规划视觉基准

Huanrong Liu, Weiliang Huang, Bob Zhang, Weichao Cai, Chunlin Tian, Qingbiao Li

机构 * University of Macau(澳门大学) National University of Singapore(新加坡国立大学) Xiamen University(厦门大学)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 本文提出SurgWMBench,一种面向短程手术运动规划的视觉基准,可评估手术世界模型的器械运动预测与连续回推稳定性,解决现有指标与器械规划需求不匹配的问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16636 2026-07-21 cs.RO 新提交 81%

PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution

PhyAgentOS:一种用于具身智能体的自进化操作系统,具有解耦的认知规划和物理执行

Yang Liu, Weixing Chen, Xinshuai Song, Tao Pu, Siwen Mo, Yongjie Bai, Zihao Chen, Qianran Sun, Liruo Zhong, Ying Shen, Liang Lin

机构 * X-Era Lab(X-Era实验室) HCP Lab, Sun Yat-sen University(中山大学HCP实验室) Peng Cheng Laboratory(鹏城实验室)

专题命中 仿真与规划 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 研究为具身智能体提出PhyAgentOS操作系统,其以会话为最小调度单位,用文件系统解耦认知与物理执行,通过会话验证器区分执行与任务完成,经认知记忆整合结果,有分层安全约束,在多模型和实体上验证并优于其他系统。

详情

展开后加载摘要…

URL PDF HTML 收藏