arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

2026-06-19 至 2026-06-19 共收录 13 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 通用世界模型 9 篇

2606.20545 2026-06-19 cs.CV 新提交 94%

Current World Models Lack a Persistent State Core

当前世界模型缺乏持久状态核心

Jinpeng Lu, Dexu Zhu, Haoyuan Shi, Linghan Cai, Guo Tang, Yinda Chen, Jie Cao, Duyu Tang, Yi Zhang, Yong Dai, Xiaozhu Ju

机构 * University of Science and Technology of China(中国科学技术大学) Beijing Innovation Center of Humanoid Robotics (X-Humanoid)(北京人形机器人创新中心) NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室) Independent Researcher(独立研究者) Dresden University of Technology(德累斯顿工业大学) Peking University(北京大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 提出WRBench基准测试,发现现有世界模型在观测中断时无法维持世界状态演化,强调物理状态核稳定性应成为世界模型设计首要目标。

Comments 39 pages, 16 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20104 2026-06-19 cs.LG cs.AI 新提交 94%

Sensorimotor World Models: Perception for Action via Inverse Dynamics

传感器运动世界模型:通过逆动力学实现面向行动感知

Petr Ivashkov, Randall Balestriero, Bernhard Schölkopf

机构 * Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所) Department of Computer Science, Brown University(布朗大学计算机科学系) ELLIS Institute(ELLIS研究所) ETH Zürich(苏黎世联邦理工学院)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 提出传感器运动世界模型(SMWM),通过逆动力学正则化端到端训练潜空间世界模型,防止表示崩溃并学习与行动对齐的紧凑表示,在2D和3D控制任务中实现竞争性规划性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18960 2026-06-19 cs.CV cs.RO 新提交 94%

Mem-World: Memory-Augmented Action-Conditioned World Models for Persistent Robot Manipulation

Mem-World:用于持久机器人操作的内存增强动作条件世界模型

Zirui Zheng, Jiaqian Yu, Xiongfeng Peng, jun shi, Mingyi Li, Chao Zhang, Weiming Li, Dong Wang, Huchuan Lu, Xu Jia

机构 * Dalian University of Technology(大连理工大学) Samsung R&D Institute China-Beijing (SRCB)(三星中国北京研究院)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 提出Mem-World,通过4D腕部视角曲面元索引内存W-VMem,解决操作中因遮挡和运动导致的场景遗忘问题,实现持久世界建模,提升策略评估与改进效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19928 2026-06-19 cs.RO 新提交 90%

SWAP: Symmetric Equivariant World-Model for Agile Robot Parkour

SWAP: 用于敏捷机器人跑酷的对称等变世界模型

Kaixin Lan, Ze Wang, Hongyi Li, Lei Jiang, Chaojie Fu, Chengkai Su, Choi Lam Wong, Yongbin Jin, Hongtao Wang

机构 * Center for X-Mechanics, Zhejiang University(浙江大学交叉力学中心) ZJU-Hangzhou Global Scientific and Technology Innovation Center(浙江大学杭州国际科创中心) Mirrorme Technology Co., Ltd.(魔镜科技有限公司)

专题命中 通用世界模型 :world-model(title);world-model(title);world model(abstract);world models(abstract)

AI总结 提出SWAP框架,将对称等变性嵌入世界模型和演员-评论家网络,实现四足机器人跑酷记录突破(跨越2.13米间隙、攀爬1.63米平台),并展现出对未见镜像地形的几何泛化与零样本迁移能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19889 2026-06-19 cs.CV 新提交 90%

SurgVista: Long-Horizon Surgical World Modeling with Plausible Instrument-Tissue Dynamics

SurgVista:具有合理器械-组织动力学的长程手术世界建模

Wentao Pan, Wuyang Li, Shengyuan Liu, Xinyu Liu, Hengyu Liu, Yixuan Yuan

机构 * The Chinese University of Hong Kong(香港中文大学) EPFL(瑞士联邦理工学院洛桑) Imperial College London(伦敦帝国学院)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world models(abstract);world models(abstract)

AI总结 提出SurgVista手术世界模型,通过变形一致性正则化和漂移适应训练,解决空间交互不连贯和时间保真度崩溃问题,在长程预测中显著优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.05169 2026-06-19 cs.LG cs.AI cs.CL cs.CV cs.RO 版本更新 89%

Critique of World Model

世界模型批判:一种用于世界建模的生成式潜在预测架构

Eric Xing, Mingkai Deng, Jinyu Hou

机构 * Institute of Foundation Models(基础模型研究院) Mohamed bin Zayed University of Artificial Intelligence(莫莫德 bin Zayed 人工智能大学) School of Computer Science Carnegie Mellon University(计算机科学学院卡内基梅隆大学)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);分类 cs.AI、cs.LG、cs.CV

AI总结 本文从心理学“假设性思维”出发,提出世界模型的核心目标是模拟真实世界的所有可行动可能性,并设计了一种基于状态化、分层、多级、混合连续/离散表示的生成式潜在预测(GLP)架构。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19476 2026-06-19 cs.LG cs.AI 新提交 82%

Can In-Context Learning Support Intrinsic Curiosity?

上下文学习能否支持内在好奇心?

Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

机构 * Google – Paradigms of Intelligence Team(Google – 智能范式团队) Google DeepMind(谷歌DeepMind)

专题命中 通用世界模型 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 研究利用序列模型的上下文学习能力作为即时无更新世界模型,以消除传统内在好奇心方法中梯度下降的计算瓶颈,理论证明在非时间设置下可渐近收敛到真实学习进度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19408 2026-06-19 cs.LG cs.RO 新提交 82%

FlexLAM: Resolving the Bottleneck Trade-off in Latent Action Learning

FlexLAM: 解决潜在动作学习中的瓶颈权衡

Takanori Yoshimoto, Yang Hu, Naruya Kondo, Tatsuya Matsushima

机构 * University of Tsukuba(筑波大学) The University of Tokyo(东京大学)

专题命中 通用世界模型 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 针对潜在动作模型中固定容量瓶颈导致的权衡问题,提出FlexLAM,通过嵌套dropout实现变长潜在动作,在不增加架构或损失的情况下,在稀缺标签和低回报任务中优于固定容量模型,并支持推理时调整令牌预算。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20208 2026-06-19 cs.AI cs.DB cs.NE 新提交 67%

Beyond Accuracy: Measuring Logical Compliance of Predictive Models

超越准确性:衡量预测模型的逻辑合规性

Guillaume Olivier Delplanque, Pierre Genevès, Nabil Layaïda, Zephirin Faure

机构 * LIG(里格实验室)

专题命中 通用世界模型 :predictive model(title,abstract);predictive models(title,abstract);分类 cs.AI

AI总结 提出规则违反分数(RVS),一种独立于预测准确性的评估指标,用于量化预测模型对逻辑规则的遵守程度,并通过实验证明两个准确率相近的模型可能表现出截然不同的逻辑合规性。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 视频世界模型 1 篇

2605.31158 2026-06-19 cs.CV cs.LG 版本更新 96%

Light Interaction: Training-Free Inference Acceleration for Interactive Video World Models

光交互:交互式视频世界模型的免训练推理加速

Jiacheng Lu, Haoyi Zhu, Sipei Yi, Enze Xie, Yu Li, Cheng Zhuo

机构 * Zhejiang University(浙江大学) NVIDIA

专题命中 视频世界模型 :world model(title,abstract);world models(title,abstract);video world model(title,abstract);world model(title,abstract)

AI总结 针对交互式视频世界模型推理成本高的问题,提出免训练加速框架Light Interaction,通过自适应上下文管理、去噪缓存加速和3D块稀疏注意力实现最高2.59倍加速。

Comments 13 pages, 6 figures, 3 tables. Project page: https://2843721358l-del.github.io/Light-Interaction-Project/

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 具身与机器人 1 篇

2606.20491 2026-06-19 cs.RO cs.CV 新提交 50%

Fast Human Attention Prediction for Fixation-guided Active Perception in Autonomous Navigation

用于自主导航中注视引导主动感知的快速人类注意力预测

Fatma Youssef Mohammed, Grzegorz Malczyk, Kostas Alexis

机构 * Norwegian University of Science and Technology (NTNU)(挪威科技大学)

专题命中 具身与机器人 :分类 cs.CV、cs.RO;predictive model(abstract);predictive models(abstract)

AI总结 提出GazeLNN,一种基于液态神经网络和MobileNetV3的轻量级扫描路径预测模型,在MIT低分辨率数据集上达到最优性能,计算成本降低99.40%,推理速度提升6倍,并集成到强化学习训练的主动相机-机器人控制策略中,实现自主导航中的注视引导感知。

Comments Accepted to the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 模型式强化学习 1 篇

2606.20411 2026-06-19 cs.LG 新提交 56%

Direct Advantage Estimation for Scalable and Sample-efficient Deep Reinforcement Learning

直接优势估计:可扩展且样本高效的深度强化学习

Hsiao-Ru Pan, Bernhard Schölkopf

专题命中 模型式强化学习 :latent dynamics(abstract);分类 cs.LG;dynamics model(abstract)

AI总结 针对直接优势估计(DAE)在部分可观测域和高维观测下的局限性,本文扩展其理论框架并引入离散潜动态模型降低计算复杂度,在Arcade学习环境中验证了DAE的可扩展性和样本效率。

Comments Accepted at RLC2026

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 仿真与规划 1 篇

2606.19531 2026-06-19 cs.CV cs.RO 新提交 71%

ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?

ImageWAM:世界动作模型真的需要视频生成,还是只需要图像编辑?

Yuyang Zhang, Wenyao Zhang, Zekun Qi, He Zhang, Haitao Lin, Jingbo Zhang, Yao Mu, Xiaokang Yang, Wenjun Zeng, Xin Jin

机构 * Shanghai Jiao Tong University(上海交通大学) Eastern Institute of Technology(东方理工学院) Tencent Robotics X(腾讯机器人X) Tsinghua University(清华大学) Zhongguancun Academy(中关村学院)

专题命中 仿真与规划 :world model(abstract);world model(abstract);分类 cs.CV、cs.RO

AI总结 提出ImageWAM框架,利用预训练图像编辑模型替代视频生成进行机器人动作预测,通过编辑去噪的KV缓存作为世界动作上下文,在多个模拟和真实实验中优于基线,计算量降至1/6,延迟降至1/4。

Comments Project Page: https://zhangwenyao1.github.io/ImageWAM/

详情

展开后加载摘要…

URL PDF HTML 收藏