arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

视觉与机器人

世界模型

面向环境建模、时序预测、仿真规划、具身智能和自动驾驶的世界模型方法与应用。

2026-07-14 至 2026-07-14 共收录 24 信号源:cs.AI, cs.LG, cs.CV, cs.RO, cs.MA

1. 通用世界模型 14 篇

2607.10781 2026-07-14 cs.CV cs.RO 新提交 96%

Is Energy Guidance All You Need? Training-Free Norm Injection for Driving World Models

你所需要的只是能量引导吗?用于驱动世界模型的无训练规范注入

Xiyan Su, Frank Diermeyer, Markus Lienkamp

机构 * Institute of Automotive Technology, Technical University of Munich(慕尼黑工业大学汽车技术研究所)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);driving world model(title,abstract);world model(title,abstract)

AI总结 研究基于大型视频扩散主干的驾驶世界模型难以控制的问题,提出通过可微能量函数在采样时操控规划轨迹,无需重新训练主干,以Open-Sora 2.0 MM-DiT主干模型为例验证,指出跨流耦合是端到端可控关键。

Comments Accepted to Robotics: Science and Systems 2026 Robot World Models Workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11836 2026-07-14 cs.CV 新提交 94%

Cycle-World: Mitigating Error Accumulation in Long-term Video World Models via Reverse-Prediction Cycle Consistency

循环世界:通过反向预测循环一致性减轻长期视频世界模型中的误差累积

Zihan Su, Teng Hu, Jiangning Zhang, Ruiyan Wang, Ran Yi, Lizhuang Ma, Dacheng Tao

机构 * School of Computer Science, Shanghai Jiao Tong University, Shanghai, China(上海交通大学计算机科学学院) Institute of Cyber-Systems and Control, Zhejiang University, Hangzhou, China(浙江大学控制系统研究所) Nanyang Technological University, Singapore(新加坡南洋理工大学)

专题命中 通用世界模型 :world model(title);world models(title);video world model(title);world model(title)

AI总结 针对自回归扩散模型在长视频生成中误差累积问题,提出循环世界框架,通过训练和推理阶段的时间可逆性及反向预测模型抑制误差,实验证明其在VBench基准测试中显著减轻误差漂移,提升生成质量和时间一致性。

Comments Accepted by ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10362 2026-07-14 cs.LG 新提交 94%

A Control Theory of Predictability in Latent World Models

潜在世界模型中可预测性的控制理论

Hanzhe You, Yonggang Zhang, Maohao Ran, Zhiqin Yang, Zhenyuan Zhang, Wei Xue, Jun Song, Xinmei Tian, Yike Guo

机构 * University of Science and Technology of China(中国科学技术大学) The Hong Kong University of Science and Technology(香港科技大学) Hong Kong Baptist University(香港浸会大学)

专题命中 通用世界模型 :world model(title,abstract);world models(title,abstract);world model(title,abstract);world models(title,abstract)

AI总结 研究潜在世界模型中可预测性的控制理论,指出当前以预测误差为目标不可靠,重新定义目标为预测与真实计划成本的差异,证明规划器次优性受其限制,通过实验证实相关结论。

Comments Preprint about latent world models, Koopman operator and control theory, 33 pages, 1 figure. Main text about 10 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10630 2026-07-14 cs.RO cs.AI 新提交 93%

World Models as Adversaries: Multi-Agent Self-Play Fine-Tuning for Robust Motion Planning

作为对手的世界模型:用于鲁棒运动规划的多智能体自我博弈微调

Tong Nie, Yuewen Mei, Junlin He, Yihong Tang, Jian Sun, Wei Ma

机构 * The Hong Kong Polytechnic University(香港理工大学) Tongji University(同济大学) McGill University(麦吉尔大学) Mila-Quebec AI Institute(米拉-魁北克人工智能研究所)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 研究在密集交通中自动驾驶车辆鲁棒运动规划问题,提出对抗世界建模(AWM)框架,通过多智能体自我博弈微调,引入解耦求解器,经实验验证该方法能生成可转移对抗交互,使规划器在多种场景有竞争力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10389 2026-07-14 cs.DC cs.LG 新提交 92%

Stateful Worlds, Stateless Elasticity: Exact-State Serving for Interactive World Models

有状态世界,无状态弹性:交互式世界模型的精确状态服务

Jin Li, Jiawei Chen

机构 * Harvard University(哈佛大学) Independent Researcher(独立研究者)

专题命中 通用世界模型 :world model(title,abstract);world models(title);world model(title,abstract);world models(title)

AI总结 研究交互式世界模型精确状态服务中的调度问题,提出 WorldMove 方法,能快速迁移缓存且保证位相同,通过可接受性条件等解决调度难题,实现跨传输和验证的联合调度,提升集群可调度性。

Comments 20 pages. Extended version

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.06558 2026-07-14 cs.RO 版本更新 88%

RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation

RynnWorld-Teleop:用于数字遥操作的动作条件世界模型

Haoyu Zhao, Xingyue Zhao, Hangyu Li, Biao Gong, Kehan Li, Siteng Huang, Xin Li, Deli Zhao, Zhongyu Li

机构 * DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团) Hong Kong Embodied AI Lab(香港具身人工智能实验室) CUHK(香港中文大学) Hupan Lab(湖畔实验室) Alibaba Group(阿里巴巴集团) Ant Group(蚂蚁集团)

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);分类 cs.RO

AI总结 研究针对机器人学习数据收集瓶颈,提出数字遥操作范式,用生成世界模型解耦数据收集与物理约束。以RynnWorld-Teleop系统实现,含多种技术,能实时生成,训练策略可零样本转移,还能增强数据集,是高保真可扩展数据引擎。

Comments Project Page: https://alibaba-damo-academy.github.io/RynnWorld-Teleop.github.io, Github: https://github.com/alibaba-damo-academy/RynnWorld-Teleop

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.05933 2026-07-14 eess.AS 版本更新 88%

Speech World Model: Causal State-Action Planning with Explicit Reasoning for Speech

语音世界模型:基于显式推理的语音因果状态-动作规划

Xuanru Zhou, Jiachen Lian, Henry Hong, Xinyi Yang, Gopala Anumanchipalli

专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract)

AI总结 研究旨在改进语音语言模型推理弱的问题,采用模块化视角和世界模型观点,将语音理解分解为四个模块通过因果图通信,建立认知状态搜索空间,实现显式推理,让语音理解更透明可控。

Comments Accepted to 2026 ICLR

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27537 2026-07-14 cs.CV 版本更新 84%

MemoBench: Benchmarking World Modeling in Dynamically Changing Environments

MemoBench: 动态变化环境中的世界建模基准测试

Haoyu Chen, Kaichen Zhou, Hang Hua, Kaile Zhang, Jingwen Qian, Wufei Ma, Haonan Chen, Chunjiang Liu, Yizhou Zhao, Xiaoyuan Wang, Weiyue Li, Alan Yuille, Paul Pu Liang, Yilun Du

机构 * Harvard University(哈佛大学) MIT(麻省理工学院) MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室) Boston University(波士顿大学) Google(谷歌) JHU(约翰霍普金斯大学) CMU(卡内基梅隆大学) Kempner Institute(肯普纳研究所)

专题命中 通用世界模型 :world model(title);world model(title);分类 cs.CV

AI总结 提出MemoBench基准,通过目标消失-重现范式评估视频生成模型在动态环境中的记忆一致性,涵盖合成与真实场景,揭示现有模型的关键挑战。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09692 2026-07-14 cs.LG cs.CL 新提交 81%

Reference-Based Distillation Detection in LLMs

大语言模型中基于参考的蒸馏检测

Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

机构 * University of California, Berkeley(加利福尼亚大学伯克利分校) University of Southern California(南加利福尼亚大学) OpenAI

专题命中 通用世界模型 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 研究旨在检测大语言模型是否经蒸馏而来,提出基于参考的成员推理蒸馏检测方法,通过比较模型与不同候选教师输出的优先对齐程度识别教师及蒸馏证据,能处理未知管道,扩展到开放世界设置,应用于当代模型获潜在蒸馏关系新证据。

Comments 27 pages (14 main), 21 figures, 16 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.04419 2026-07-14 cs.CL cs.AI cs.LG 版本更新 71%

Context-Dependent Affordance Computation in Vision-Language Models

视觉-语言模型中基于情境的可及性计算

Murad Farzulla

机构 * Dissensus AI King’s College London(伦敦国王学院)

专题命中 通用世界模型 :world model(abstract);world model(abstract);分类 cs.AI、cs.LG

AI总结 本研究揭示视觉-语言模型中可及性计算的高度情境依赖性,通过大规模实验显示超过90%的词汇描述受情境影响,提出动态本体投影方法替代静态世界建模。

Comments 33 pages, 13 tables, 3 figures. Code available at: https://github.com/studiofarzulla/semantic-vision

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10050 2026-07-14 cs.HC 新提交 67%

SyncSpace: Layout-Conditioned 3D Gaussian Splatting for Space Reskinning in Mixed Reality

SyncSpace:用于混合现实中空间重塑的布局条件3D高斯溅射

Qinchuan Zhang, Weibo Xu, Yunge Wen

专题命中 通用世界模型 :world model(abstract);world model(abstract)

AI总结 SyncSpace系统通过深度感应提取3D边界框,经生成世界模型生成高斯溅射场景,再用粗到精算法与物理空间对齐,实现空间重塑,可展示手部跟踪吞噬交互及同一空间重塑为多风格世界。

Comments 2 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10011 2026-07-14 cs.CY 新提交 67%

Religion and Artificial Intelligence as Distributed Meaning Systems: A Naturalistic Conceptual Model

宗教与人工智能作为分布式意义系统:一种自然主义概念模型

Dhushy Thillaivasan, Samar Shailendra, Sohag Sarkar

专题命中 通用世界模型 :world-model(abstract);world-model(abstract)

AI总结 该文将宗教与人工智能视为结构相似的分布式意义系统,源于相同底层认知架构。通过概念模型展示意义的产生等过程,宗教与当代AI系统有类似功能,此模型解释相关机制并阐明AI成意义权威的条件,提供统一框架理解二者。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09836 2026-07-14 gr-qc astro-ph.HE astro-ph.SR 新提交 67%

Compact stars in a large-tension braneworld: mildly negative Weyl coupling consistent with NICER and gravitational-wave data

大张力膜世界中的致密星:与NICER和引力波数据一致的轻度负外尔耦合

Samuel Isidoro dos Santos Júnior, Rafael Camargo Rodrigues de Lima, Pedro Henrique Ribeiro da Silva Moraes

专题命中 通用世界模型 :world model(abstract);world model(abstract)

AI总结 该研究利用多信使观测的贝叶斯推断,在唯象膜世界模型中约束致密星参数空间,结合多种观测进行分析,得出大张力膜世界中轻度负外尔耦合与现有数据一致,无需大幅偏离广义相对论的结论。

Comments 15 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.23242 2026-07-14 cs.AI 版本更新 50%

A Model-Free Universal AI

无模型通用人工智能

Yegon Kim, Juho Lee

机构 * Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院)

专题命中 通用世界模型 :environment model(abstract);分类 cs.AI

AI总结 提出首个在通用强化学习中证明渐近ε最优的无模型智能体AIQI,通过分布动作值函数的通用归纳实现,并扩展了Self-AIXI的渐近最优性证明。

Comments 42nd Conference on Uncertainty in Artificial Intelligence (UAI 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 视频世界模型 1 篇

2605.18601 2026-07-14 cs.CV 版本更新 96%

Incantation: Natural Language as the Action Interface for Multi-Entity Video World Models

Incantation: 自然语言作为多实体视频世界模型的动作接口

Shangwen Zhu, Qianyu Peng, Zhao Pu, Zhilei Shu, Xiangrui Ke, Zhaohu Xing, Zizhao Tong, Zeqing Wang, Xinyu Cui, Zian Zheng, Huangji Wang, Jian Zhao, Yeying Jin, Fan Cheng, Ruili Feng

机构 * SJTU(上海交通大学) NVIDIA Research(英伟达研究) USTC(中国科学技术大学) UCAS(乌兹别克斯坦科学院) NUS(新加坡国立大学) UWaterloo(滑铁卢大学) HKUST(香港理工大学) HKU(香港大学) ZGCA(浙江大学)

专题命中 视频世界模型 :world model(title,abstract);world models(title,abstract);video world model(title,abstract);world model(title,abstract)

AI总结 本研究提出了一种基于自然语言的动作接口,用于多实体视频世界模型,解决了传统接口在细粒度多实体控制和跨实体、跨世界泛化能力上的不足,通过引入自然语言条件化实现了更强大的表达能力。

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 具身与机器人 6 篇

2607.11643 2026-07-14 cs.RO cs.AI 新提交 87%

Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model

小米机器人-U0:基于世界基础模型的统一具身合成

Xinghang Li, Jun Guo, Qiwei Li, Long Qian, Hang Lai, Yueze Wang, Hongyu Yan, Jiahang Cao, Xi Chen, Jingen Qu, Jiaxi Song, Nan Sun, Hanye Zhao, Futeng Liu, Wanli Peng, Heyun Wang, Yunhong Wang, Caoyu Xia, Jack Zhao, Diyun Xiang, Hangjun Ye, Heng Qu, Huaping Liu, Jason Li

机构 * Xiaomi Robotics(小米机器人)

专题命中 具身与机器人 :world model(abstract);world models(abstract);embodied world model(abstract);world model(abstract)

AI总结 研究针对基础模型应用于具身场景受限问题,提出小米机器人-U0多模态自回归模型,将具身生成扩展为基础图像和视频生成的形式,联合优化多种生成任务,在多方面取得领先成果,证明基础世界模型可用于具身智能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11689 2026-07-14 cs.RO cs.AI 新提交 82%

From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence

从世界行动模型到具身大脑:开放世界物理智能路线图

Yuanzhi Liang, Xufeng Zhan, Haibin Huang, Chi Zhang, Xuelong Li

机构 * IEEE

专题命中 具身与机器人 :world model(abstract);world models(abstract);world model(abstract);world models(abstract)

AI总结 研究针对通用人工智能中物理世界推理行动的进展零散问题,提出以具身大脑为中心的物理智能协同进化路线图,利用世界行动模型等,通过物理框架、共享契约和闭环训练等构建模块化智能栈,推动物理智能发展。

Comments Ongoing work

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11270 2026-07-14 cs.RO cs.AI 新提交 71%

Towards Predictive, Aligned, and Scalable Robot Learning

迈向可预测、对齐且可扩展的机器人学习

Peijun Tang, Shangjin Xie, Baifu Huang, Binyan Sun, Haotian Yang, Kuncheng Luo, Weiqi Jin, Shilin Fang, Jianan Wang

机构 * Astribot Team(Astribot团队)

专题命中 具身与机器人 :world model(abstract);world model(abstract);分类 cs.AI、cs.RO

AI总结 研究旨在实现可预测、对齐且可扩展的机器人学习。核心方法是引入Lumo - 2潜在世界 - 动作模型,提出多阶段模态预对齐策略。主要贡献是该模型在实证研究中表现出色,优于基线,验证了结构化多模态对齐和预测推理对具身智能的重要性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11397 2026-07-14 cs.RO 新提交 69%

WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos

WALA:从带动作标签的演示和无动作视频中学习可执行的潜在动作

Jiahao Liu, Zhongpu Xia, Shuai Tian, Huangrui Li, Yuhang Zheng, Ning Ma, Xin Fu, Xiaotian Liu, Jing Li, Yixian Li, ShangQing Zhou, Zebin Xing, Linbo Wang, Chaoyue Li, Haoran Li, Dongbin Zhao

机构 * CASIA(中国科学院自动化所) Anyverse Dynamics(Anyverse动力学公司) UCAS(中国科学院大学) NUS(新加坡国立大学) XJYLU(西安交通大学利物浦大学)

专题命中 具身与机器人 :world model(abstract);world model(abstract);分类 cs.RO

AI总结 研究从带动作标签演示和无动作视频学习可执行潜在动作的问题,提出WALA框架,先预训练语义几何潜在动作模型,策略训练时编码器和解码器协同,由多方面联合监督潜在动作,实验证明其提升了机器人策略性能和泛化能力。

Comments Project page: https://liujiahao2077.github.io/WALA.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09701 2026-07-14 cs.RO 新提交 69%

EgoSteer: A Full-Stack System Towards Steerable Dexterous Manipulation from Egocentric Videos

EgoSteer:一个用于从第一人称视角视频实现可控灵巧操作的全栈系统

Yifan Zhong, Zhang Chen, Tianrui Guan, Fanlian Zeng, Yuyao Ye, Tianjia He, Ka Nam Lui, Jiayi Li, Tingrui Zhang, Ruilin Yan, Xinhao Ji, Guangyu Zhao, Wenjie Lou, Jiayuan Zhang, Yuanpei Chen, Yaodong Yang

机构 * Institute for AI, PKU(北京大学人工智能研究院) PKU-PsiBot Joint Lab(北大-灵犀机器人联合实验室) UPenn(宾夕法尼亚大学)

专题命中 具身与机器人 :world-model(abstract);world-model(abstract);分类 cs.RO

AI总结 针对灵巧手系统因缺乏数据而无可控性的问题,提出全栈系统EgoSteer,集成EgoSmith数据管道等,通过人类数据预训练赋予语言引导操作先验,经机器人后训练强化,能执行多样任务,还开源相关内容。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09218 2026-07-14 cs.RO cs.AI 版本更新 64%

TACTIC: Tactile and Vision Conditioned Contact-Centric Control for Whole-Arm Manipulation

用于全臂操作的触觉和视觉条件下的以接触为中心的控制

Rishabh Madan, Angchen Xie, Samantha Saak, Andres Blanco, Dohyeok Lee, Sarah Grace Brown, Yunting Yan, Mark Zolotas, Jose Barreiros, Tapomayukh Bhattacharjee

机构 * Cornell University(康奈尔大学) Carnegie Mellon University(卡内基梅隆大学) Toyota Research Institute(丰田研究机构)

专题命中 具身与机器人 :latent dynamics(abstract);分类 cs.AI、cs.RO;dynamics model(abstract);predictive model(abstract)

AI总结 研究全臂操作问题,提出TACTIC控制器,它采用以接触为中心的混合预测模型,结合多种传感,通过接触雅可比矩阵耦合动力学与运动学,集成到MPC规划器,在模拟和实际任务中表现出色,优于其他方法。

Comments RSS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 模型式强化学习 3 篇

2607.11073 2026-07-14 cs.LG physics.ao-ph 新提交 74%

AeroMELD: A Linear Embedding of Aerosol Populations for Diagnostics and Latent Dynamics

AeroMELD:用于诊断和潜在动力学的气溶胶群体线性嵌入

Ehsan Saleh, Saba Ghaffari, Wenhan Tang, Jeffrey H. Curtis, Lekha Patel, Peter A. Bosler, Nicole Riemer, Matthew West

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Amazon(亚马逊) Sandia National Laboratories(桑迪亚国家实验室)

专题命中 模型式强化学习 :latent dynamics(title,abstract);分类 cs.LG

AI总结 研究旨在准确表示大气气溶胶群体,提出AeroMELD框架构建低维潜在变量以保留其数学结构,通过尺度-形状分解等实现,能准确重建多种分布及行为,为在潜在空间学习气溶胶过程演化奠定基础。

Comments 34 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09801 2026-07-14 cs.LG 新提交 50%

Discovering Latent Response Laws in Forced Physical Systems

在强迫物理系统中发现潜在响应规律

Yi Zhu, Su Chen, Xiaojun Li, Xiuli Du

机构 * Beijing University of Technology(北京工业大学) State Key Laboratory of Bridge Safety and Resilience(桥梁安全与韧性国家重点实验室)

专题命中 模型式强化学习 :latent dynamics(abstract);分类 cs.LG

AI总结 研究强迫物理系统中潜在响应规律,提出FLARE方法,通过学习紧凑响应坐标等,能恢复强迫动力学并预测高维响应,还可将方程发现扩展到复杂观测系统,为可解释建模和预测提供途径。

Comments 23 pages, 5 figures and 2 tables. Supplementary Information provided as an ancillary file

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10965 2026-07-14 physics.comp-ph math-ph math.MP physics.data-an physics.flu-dyn 新提交 50%

Structure-preserving variational neural fields: Uncertainty-quantified reduced-order modeling of nonlinear conservation laws

结构保持变分神经场:非线性守恒律的不确定性量化降阶建模

Aviral Prakash, Marc L. Klasky

专题命中 模型式强化学习 :latent dynamics(abstract);dynamics model(abstract)

AI总结 研究针对非线性守恒律控制的物理系统模拟,开发变分潜在神经场框架,集成高斯过程代理模型,有三种变体,能估计预测置信度,通过时空无散度表示嵌入守恒律流形实现守恒结构保持,经实验验证其有效性和鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏