世界模型

Safety Augmented Value Estimation from Demonstrations (SAVED): Safe Deep Model-Based RL for Sparse Cost Robotic Tasks

Brijen Thananjeyan, Ashwin Balakrishna, Ugo Rosolia, Felix Li, Rowan McAllister, Joseph E. Gonzalez, Sergey Levine, Francesco Borrelli, Ken Goldberg

专题命中 具身与机器人 ：model-based RL(title)；model-based reinforcement learning(abstract)；分类 cs.AI、cs.LG、cs.RO

Comments Robotics and Automation Letters and International Conference on Robotics and Automation 2020. First two authors contributed equally

Journal ref Robotics and Automation Letters 2020

EDGI: Equivariant Diffusion for Planning with Embodied Agents

Johann Brehmer, Joey Bose, Pim de Haan, Taco Cohen

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；model-based reinforcement learning(abstract)；分类 cs.LG、cs.RO

Comments Accepted at NeurIPS 2023. v2: matches camera-ready version

Learning Spatial and Temporal Hierarchies: Hierarchical Active Inference for navigation in Multi-Room Maze Environments

Daria de Tinguy, Toon Van de Maele, Tim Verbelen, Bart Dhoedt

专题命中 具身与机器人 ：world model(abstract,comments)；world model(abstract,comments)；world models(comments)；分类 cs.AI

Comments IROS 2023 Workshop World Models and Predictive Coding in Cognitive Robotics. arXiv admin note: text overlap with arXiv:2306.13546

Multi-Goal Dexterous Hand Manipulation using Probabilistic Model-based Reinforcement Learning

Yingzhuo Jiang, Wenjun Huang, Rongdun Lin, Chenyang Miao, Tianfu Sun, Yunduan Cui

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） 纠错

专题命中 具身与机器人 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.RO

Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation

Carlos Plou, Ana C. Murillo, Ruben Martinez-Cantin

专题命中 具身与机器人 ：model-based reinforcement learning(title)；model-based RL(abstract)；分类 cs.LG、cs.RO

Autonomous Port Navigation With Ranging Sensors Using Model-Based Reinforcement Learning

Siemen Herremans, Ali Anwar, Arne Troch, Ian Ravijts, Maarten Vangeneugden, Siegfried Mercelis, Peter Hellinckx

专题命中 具身与机器人 ：model-based reinforcement learning(title,abstract)；分类 cs.AI、cs.RO

Comments Presented at 42nd International Conference on Ocean, Offshore & Arctic Engineering. June 11 - 16, 2023. Melbourne, Australia

Journal ref Proceedings of the ASME 2023 42nd International Conference on Ocean, Offshore and Arctic Engineering. Volume 5: Ocean Engineering. Melbourne, Australia. June 11-16, 2023. V005T06A072. ASME

VTAM: Video-Tactile-Action Models for Complex Physical Interaction Beyond VLAs

VTAM：用于复杂物理交互的视频-触觉-动作模型超越VLAs

Haoran Yuan, Weigang Yi, Zhenyu Zhang, Wendi Chen, Yuchen Mo, Jiashi Yin, Xinzhuo Li, Xiangyu Zeng, Chuan Wen, Cewu Lu, Katherine Driggs-Campbell, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.CV

AI总结 VTAM通过整合触觉感知提升复杂物理交互的稳定性，其多模态框架在接触密集任务中表现优异，成功率达到90%。

Comments https://plan-lab.github.io/projects/vtam/

TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning

Marco Bagatella, Matteo Pirotta, Ahmed Touati, Alessandro Lazaric, Andrea Tirinzoni

机构 * FAIR at Meta（Meta 的 FAIR） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；latent dynamics(abstract)；分类 cs.LG

Learning Models for Following Natural Language Directions in Unknown Environments

Sachithra Hemachandra, Felix Duvallet, Thomas M. Howard, Nicholas Roy, Anthony Stentz, Matthew R. Walter

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；environment model(abstract)；分类 cs.RO

Comments ICRA 2015

Optimal Gait Control for a Tendon-driven Soft Quadruped Robot by Model-based Reinforcement Learning

基于模型强化学习的腱驱动软四足机器人类最优步态控制

Xuezhi Niu, Kaige Tan, Lei Feng

机构 * Department of Engineering Design, KTH Royal Institute of Technology, Stockholm 10044, Sweden（工程设计系，皇家理工学院，斯德哥尔摩） 纠错

专题命中 具身与机器人 ：model-based reinforcement learning(title,abstract)；分类 cs.RO

AI总结 本文提出一种基于模型强化学习的软四足机器人最优步态控制方法，通过多阶段方法提升步态控制器性能，实现快速稳定运动。

PropEM-L: Radio Propagation Environment Modeling and Learning for Communication-Aware Multi-Robot Exploration

Lillian Clark, Jeffrey A. Edlund, Marc Sanchez Net, Tiago Stegun Vaquero, Ali-akbar Agha-mohammadi

专题命中 具身与机器人 ：environment model(title,abstract)；分类 cs.RO

Comments Robotics: Science and Systems 2022, 8 pages

Robotic Manipulation is Vision-to-Geometry Mapping: Vision-Geometry Backbones over Language and Video Models

机器人操作是视觉到几何映射（f(v)→G）：超越语言和视频模型的视觉-几何骨干

Zijian Song, Qichang Li, Jiawei Zhou, Zhenlong Yuan, Tianshui Chen, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis（大数据分析与处理广东省重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） ； AMAP, Alibaba（阿里妈妈实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.RO；predictive model(abstract)

AI总结 本文提出基于视觉-几何骨干的机器人操作方法，通过直接利用预训练的3D表示生成动作，优于传统语言或视频模型，在精确操作和零样本泛化中表现更优。

Comments Accepted at ACM Multimedia 2026

WCM: World-Cognition Model for Generalizable Human-Robot Interaction

WCM：用于通用人机交互的世界认知模型

Yuzhen Chen, KC Zhou

专题命中 具身与机器人 ：world-model(abstract)；world-model(abstract)；分类 cs.AI、cs.LG、cs.RO

AI总结 针对机器人在物理任务交互困难的问题，提出基于SLAK架构和异步运行时的世界认知模型（WCM），引入人在回路教学模式，经思维链监督改进模型，在九个现实世界人机交互任务中平均成功率达73.8%。

SWITCH: Benchmarking Modeling and Handling of Tangible Interfaces in Long-horizon Embodied Scenarios

SWITCH：在长时程具身场景中评估和处理具象接口的基准测试

Juntao Cheng, Wanyue Zhang, Zhiwei Yu, Shuo Ren, Zheqi He, Shaoxuan Xie, Guocai Yao, Jieru Lin, Börje F. Karlsson, Jiajun Zhang

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

AI总结 SWITCH基准测试通过1170个时间交互视频，评估具象接口在真实第一人称环境中的闭环交互推理，揭示多模态模型在细粒度视觉-时间感知、结果验证和错误恢复方面的不足。

Comments The dataset is available at https://huggingface.co/datasets/BAAI-Agents/SWITCH

Exact equivariance, kept through training, buys zero-shot generalisation across the symmetry group

精确等变性在训练中保持，实现跨对称群的零样本泛化

Hongbo Wang

机构 * Department of Mathematics, Stony Brook University（石溪大学数学系） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

AI总结 通过等变编码器和预测器构建的潜世界模型，其训练损失具有可证明的对称性，从而在仅拟合部分方向动力学时，数学上确定整个轨道上的行为，实现跨对称群的零样本泛化。

Comments 112 pages, 19 figures. v2 adds programme lineage to companion papers (arXiv:2606.13092, 2606.24945, 2606.24946), engages the equivariance-at-scale debate (arXiv:2410.23179), and adds experimental hardening: 5-seed CIs, frame-averaging/canonicalization baselines, a real-robot DROID anchor, a scale-vs-exactness curve. Core claims unchanged. Code: https://github.com/TimothyWang418/se3-ejepa

PhysisForcing: Physics Reinforced World Simulator for Robotic Manipulation

PhysisForcing：面向机器人操作的物理增强世界模拟器

Peiwen Zhang, Yufan Deng, Shangkun Sun, Juncheng Ma, Duomin Wang, Jonas Du, Zilin Pan, Ye Huang, Hao Liang, Songyan Huang, Ruihua Zhang, Enze Xie, Ming-Yu Liu, Daquan Zhou

机构 * Peking University（北京大学） ； NVIDIA（英伟达） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

AI总结 针对视频生成模型在机器人操作模拟中物理不稳定的问题，提出PhysisForcing框架，通过像素级轨迹对齐和语义级关系对齐损失联合优化，显著提升物理一致性，在多个基准上改进基础模型，并提高下游策略成功率。

Comments Github: https://github.com/DAGroup-PKU/PhysisForcing Project website: https://dagroup-pku.github.io/PhysisForcing.github.io/#

Geometric Action Model for Robot Policy Learning

几何动作模型用于机器人策略学习

Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong

机构 * KAIST AI（韩国科学技术院人工智能学院） ； ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.LG、cs.CV、cs.RO

AI总结 提出几何动作模型(GAM)，通过重用预训练几何基础模型(GFM)作为共享骨干，实现语言条件下的操作策略，在仿真和真实机器人任务中优于现有方法。

Comments Project page: https://cvlab-kaist.github.io/Geometric-Action-Model/

MemoryVAM: Integrating Memory into Video Action Model for Robot Manipulation

MemoryVAM：将记忆融入视频动作模型以实现机器人操作

Yuxin Jiang, Chang Yu, Yunuo Chen, Xiang Feng, Yin Yang, Nishank Gite, Chenfanfu Jiang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Nirvana Robotics（涅槃机器人） ； University of California, San Diego（加州大学圣迭戈分校） ； University of Utah（犹他大学） 纠错

专题命中 具身与机器人 ：world-model(abstract)；world-model(abstract)；分类 cs.AI、cs.CV、cs.RO

AI总结 提出MemoryVAM，通过Recap-Cue模块将情景记忆注入视频世界模型策略，解决长时域操作中的非马尔可夫性问题，在LIBERO-Mem和真实机器人任务上显著提升成功率。

Comments Project page: https://MemoryVAM.github.io/

Inference-time Policy Steering via Vision and Touch

通过视觉和触觉进行推理时策略引导

Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

AI总结 提出ViTaL框架，通过视觉采样验证和触觉引导扩散编辑的双层优化，在推理时引导机器人策略，显著提升接触丰富操作任务的成功率。

Schrödinger's Navigator: Imagining an Ensemble of Futures for Zero-Shot Object Navigation

薛定谔的导航者：为零样本目标导航设想未来轨迹集合

Yu He, Da Huang, Zhenyang Liu, Zixiao Gu, Qiang Sun, Guangnan Ye, Yanwei Fu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai University of International Business and Economics（上海对外经贸大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

AI总结 提出一种信念感知框架，在推理时通过轨迹条件化的3D世界模型设想多个未来场景，结合自适应遮挡物感知采样和未来感知价值图，提升零样本目标导航在遮挡严重环境中的隐蔽目标发现和风险感知路径选择。

Making Foresight Actionable: Repurposing Representation Alignment in World Action Models

使远见可操作：在世界动作模型中重新利用表示对齐

Lu Qiu, Yizhuo Li, Yi Chen, Yuying Ge, Yixiao Ge, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； XPENG Robotics（小鹏机器人） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

AI总结 针对世界动作模型中视觉预测与动作提取不匹配的问题，提出AGRA方法，通过对齐视频扩散特征与语义表示，提升动作解码器对任务相关区域的关注，从而改善操作任务的性能与泛化能力。

World-Task Factorization for Robot Learning

世界-任务分解用于机器人学习

Eduardo Sebastián, Adrian Pfisterer, Vito Mengers, Oliver Brock, Amanda Prorok

机构 * Department of Computer Science and Technology, University of Cambridge, United Kingdom（计算机科学与技术系，剑桥大学，英国） ； Robotics and Biology Laboratory, Technische Universität Berlin（机器人与生物学实验室，柏林技术大学） ； Science of Intelligence (SCIoI), Cluster of Excellence, Berlin, Germany（智能科学（SCIoI），卓越中心，柏林，德国） ； Robotics Institute Germany（德国机器人研究所） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.LG、cs.RO、cs.MA

AI总结 提出将策略分解为世界因子和任务因子，通过可微图模型AICON与紧凑学习策略结合，实现零样本泛化到新配置并迁移到真实硬件。

Dream to Recall: Imagination-Guided Experience Retrieval for Memory-Persistent Vision-and-Language Navigation

梦想回溯：基于想象的体验检索用于记忆持久的视觉与语言导航

Yunzhe Xu, Yiyuan Pan, Zhe Liu

机构 * National Key Laboratory of Human Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University（西安交通大学人机混合增强智能全国重点实验室） ； School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

AI总结 本文提出Memoir，通过想象引导的检索机制提升记忆持久的视觉与语言导航性能，通过混合视角记忆和经验增强导航模型，在多个基准测试中实现了显著提升。

Comments Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

PhotoAgent: A Robotic Photographer with Spatial and Aesthetic Understanding

PhotoAgent：一种具有空间与审美理解的机器人摄影师

Lirong Che, Zhenfeng Gan, Yanbo Chen, Junbo Tan, Xueqian Wang

机构 * Center for Artificial Intelligence and Robotics, Shenzhen International Graduate School, Tsinghua University（人工智能与机器人中心，深圳国际研究生院，清华大学） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

AI总结 PhotoAgent通过整合大多模态模型与新型控制范式，将主观审美目标转化为几何约束，利用内部视觉模拟实现快速收敛于高质量图像结果。

Comments Accepted to the IEEE International Conference on Robotics and Automation (ICRA) 2026

Towards the Vision-Sound-Language-Action Paradigm: The HEAR Framework for Sound-Centric Manipulation

迈向视觉-声音-语言-动作范式：用于以声音为中心的操作的HEAR框架

Chang Nie, Tianchen Deng, Guangming Wang, Zhe Liu, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University and Shanghai Key Laboratory of Navigation and Location Based Services（自动化与智能感知学院，上海交通大学，导航与基于位置的服务重点实验室） ； Department of Engineering, Cambridge University（工程系，剑桥大学） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

AI总结 本文提出HEAR框架，通过整合声音、视觉、语言和本体感知，解决实时声音中心操作中的关键声音遗漏问题，强调因果持续性和显式时间学习的重要性。

Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation

具有自恢复能力的失败感知强化学习：用于现实世界操控的可靠离线到在线强化学习

Huanyu Li, Kun Lei, Sheng Zang, Kaizhe Hu, Yongyuan Liang, Bo An, Xiaoli Li, Huazhe Xu

机构 * Shanghai Qi Zhi Institute（上海启智研究院） ； Shanghai Jiao Tong University（上海交通大学） ； IIIS, Tsinghua University（清华大学人工智能研究院） ； Nanyang Technological University（南洋理工大学） ； A*STAR Institute for Infocomm Research（新加坡科技动力研究院） ； University of Maryland（马里兰大学） 纠错

专题命中 具身与机器人 ：world-model(abstract)；world-model(abstract)；分类 cs.AI、cs.LG、cs.RO

AI总结 本研究提出FARL框架，通过整合安全批评者和恢复策略，有效减少现实世界强化学习中的失败并提升性能。

Comments Project page: https://failure-aware-rl.github.io

Sample Efficient Robot Learning in Supervised Effect Prediction Tasks

Mehmet Arda Eren, Erhan Oztop

机构 * Department of Artificial Intelligence, Ozyegin University（人工智能系，奥兹德温大学） ； OTRI/SISReC, Osaka University（OTRI/SISReC，大阪大学） 纠错

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.LG、cs.RO

Comments 15 pages, 6 figures

Incremental Few-Shot Adaptation for Non-Prehensile Object Manipulation using Parallelizable Physics Simulators

Fabian Baumeister, Lukas Mack, Joerg Stueckler

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.LG、cs.RO；dynamics model(abstract)

Comments Accepted for publication at the IEEE International Conference on Robotics and Automation (ICRA), 2025

NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning

Bingqian Lin, Yunshuang Nie, Ziming Wei, Jiaqi Chen, Shikui Ma, Jianhua Han, Hang Xu, Xiaojun Chang, Xiaodan Liang

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.RO

Comments Accepted by TPAMI 2025

Learning to Predict Navigational Patterns from Partial Observations

Robin Karlsson, Alexander Carballo, Francisco Lepe-Salazar, Keisuke Fujii, Kento Ohtani, Kazuya Takeda

专题命中 具身与机器人 ：world model(abstract)；world model(abstract)；分类 cs.LG、cs.CV、cs.RO

Comments Accepted to IEEE Robotics and Automation Letters (RA-L) 2023