arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

机器人 / 具身智能

机器人、具身智能、机器人学习、操作、导航和具身世界模型。

共收录 3082 信号源:cs.RO, cs.AI, cs.CV, cs.LG

1. 具身推理 3082 篇

2404.18926 2024-04-30 cs.RO cs.CV cs.LG 85%

Point Cloud Models Improve Visual Robustness in Robotic Learners

Skand Peri, Iain Lee, Chanho Kim, Li Fuxin, Tucker Hermans, Stefan Lee

专题命中 具身推理 :robotic(title,abstract);world model(abstract);分类 cs.RO、cs.CV、cs.LG;robotics(comments)

Comments Accepted at International Conference on Robotics and Automation, 2024

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13438 2026-08-14 cs.RO cs.AI cs.CV 新提交 85%

ContactGuard: Pre-Contact Execution Monitoring with Action-Conditioned Latent World Models

ContactGuard:基于动作条件潜世界模型的接触前执行监控器

Gehan Zheng, Matthew Johnson-Roberson, Weiming Zhi

机构 * College of Connected Computing, Vanderbilt University(范德堡大学连接计算学院) School of Computer Science, The University of Sydney(悉尼大学计算机学院) Australian Centre for Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心)

专题命中 具身推理 :world model(title,abstract);manipulation(abstract);分类 cs.RO、cs.AI、cs.CV

AI总结 ContactGuard是基于动作条件潜世界模型的接触前执行监控器,通过预测接触前动作的潜态后果判断是否失败,能准确预测接触型操纵任务失败,可迁移至真实机器人且无需修改底层策略。

Comments 14 pages, 5 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.26182 2026-07-22 cs.CV cs.AI cs.LG 版本更新 85%

Lifting Embodied World Models for Planning and Control

提升具身世界模型用于规划与控制

Alex N. Wang, Trevor Darrell, Pavel Izmailov, Yutong Bai, Amir Bar

机构 * Computer Science, New York University(纽约大学计算机科学系) BAIR, UC Berkeley(伯克利大学BAIR)

专题命中 具身推理 :world model(title,abstract);embodied agent(abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 本文提出一种轻量级策略,将高层动作映射到低层关节动作序列,结合冻结的世界模型,实现预测未来观察的提升世界模型,有效降低规划复杂度。

Comments Accepted to ECCV2026. Edited policy masking

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21672 2026-06-23 cs.RO cs.AI cs.LG 新提交 85%

Imitation from Heterogeneous Demonstrations using Grounded Latent-Action World Models

使用基于接地潜在动作世界模型的异构演示模仿学习

Tianyou Wang, Anson Lei, Joe Watson, Ingmar Posner

机构 * University of Oxford(牛津大学)

专题命中 具身推理 :world model(title,abstract);manipulation(abstract);分类 cs.RO、cs.AI、cs.LG

AI总结 提出GLAM方法,通过共享潜在动作空间对齐异构数据源,学习接地潜在动作世界模型,在数据稀缺时提升模仿学习性能,平均任务成功率提高48%。

Comments 17 pages, 8 figures. Project page: https://viccccciv.github.io/glam/

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16286 2026-06-16 cs.LG cs.AI cs.RO 新提交 85%

FlowMPC: Improving Flow Matching policies with World Models

FlowMPC:利用世界模型改进流匹配策略

Chandon Hamel

机构 * Stanford University(斯坦福大学)

专题命中 具身推理 :world model(title,abstract);manipulation(abstract);分类 cs.RO、cs.AI、cs.LG

AI总结 提出FlowMPC框架,结合流匹配模仿策略与学习的世界模型,通过MPPI规划提升测试时性能,在ManiSkill操作任务中显著提高成功率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.01950 2026-06-02 cs.RO cs.CV cs.LG 85%

Learning Action-Conditional and Object-Centric Gaussian Splatting World Models for Rigid Objects

面向刚性物体的学习动作条件与对象中心高斯溅射世界模型

Jens U. Kreber, Lukas Mack, Joerg Stueckler

机构 * Intelligent Perception in Technical Systems Group(技术系统智能感知组)

专题命中 具身推理 :world model(title,abstract);manipulation(abstract);分类 cs.RO、cs.CV、cs.LG

AI总结 提出MRO-GWM模型,通过对象中心高斯表示和时空变换器架构,学习刚性物体在3D中的动作条件动力学,支持多物体场景和部分观测下的未来运动预测。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.20926 2026-06-02 cs.SE 85%

Learning Reasoning World Models for Parallel Code

学习并行代码的推理世界模型

Gautam Singh, Arjun Guha, Bhavya Kailkhura, Harshitha Menon

专题命中 具身推理 :world model(title,summary_cn)

AI总结 提出Parallel-Code World Models (PCWMs),通过推理LLM直接预测并行代码的工具输出,以解决并行代码训练数据稀缺问题,在数据竞争预测和性能分析任务上取得显著提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.23773 2026-05-22 cs.AI cs.CL cs.LG cs.RO 85%

General Agentic Planning Through Simulative Reasoning with World Models

通过世界模型的模拟推理实现通用代理规划

Mingkai Deng, Jinyu Hou, Zhiting Hu, Eric Xing

机构 * Institute of Foundation Models (IFM)(基础模型研究所) Carnegie Mellon University(卡内基梅隆大学) UC San Diego(南加州大学)

专题命中 具身推理 :world model(title,abstract);navigation(abstract);分类 cs.RO、cs.AI、cs.LG

AI总结 本文提出通过模拟推理实现通用代理规划,利用世界模型进行未来状态预测,提升决策能力,通过SiRA架构在不同任务中取得更高任务完成率。

Comments Winner of Berkeley LLM Agents Hackathon (Fundamentals Track); code available at https://github.com/sailing-lab/sira

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14757 2026-05-19 eess.SP 85%

ChannelAgent-Empowered Electromagnetic Space World Model: A Case Study on Agent-Driven Channel Generation for 6G AI-Native Air Interface

ChannelAgent-empowered Electromagnetic Space World Model: A Case Study on Agent-Driven Channel Generation for 6G AI-Native Air Interface

Mingyue Li, Li Yu, Yuxiang Zhang, Heng Wang, Jianhua Zhang, Ping Zhang, Guangyi Liu

专题命中 具身推理 :world model(title,title_cn)

AI总结 本文提出了一种基于ChannelAgent的电磁空间世界模型,用于6G AI原生空气接口中的智能体驱动信道生成,通过多模感知、ChannelAgent智能核心和反馈更新的闭环过程,实现任务感知决策和自主适应。

Comments 6 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.06192 2026-05-08 cs.CV cs.AI cs.RO 85%

EA-WM: Event-Aware Generative World Model with Structured Kinematic-to-Visual Action Fields

EA-WM:事件感知生成世界模型与结构运动-视觉动作场

Zhaoyang Yang, Yurun Jin, Lizhe Qi, Cong Huang, Kai Chen

机构 * Fudan University(复旦大学) Zhongguancun Academy(中关村学院) Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院) University of Science and Technology of China(中国科学技术大学) DeepCybo(深瞳)

专题命中 具身推理 :world model(title,abstract);robotic(abstract);分类 cs.RO、cs.AI、cs.CV

AI总结 EA-WM通过结构化运动-视觉动作场闭环连接运动控制与视觉感知,提升机器人空间几何和细粒度交互动态的生成精度。

Comments Preprint. 22 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01346 2026-04-08 cs.CR cs.AI cs.LG cs.RO 85%

Safety, Security, and Cognitive Risks in World Models

世界模型中的安全性、安全性和认知风险

Manoj Parmar

机构 * SovereignAI Security Labs(SovereignAI安全实验室)

专题命中 具身推理 :world model(title,abstract);robotics(abstract);分类 cs.RO、cs.AI、cs.LG

AI总结 本文探讨了世界模型在自主决策中的安全、安全及认知风险,提出了轨迹持久性和表征风险的定义,并通过实验验证了对抗攻击的效果,强调了对世界模型的严谨性要求。

Comments version 2, 29 pages, 1 figure (6 panels), 3 tables. Empirical proof-of-concept on GRU/RSSM/DreamerV3 architectures

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.01392 2026-02-27 cs.RO cs.AI cs.CV 85%

Sparse Imagination for Efficient Visual World Model Planning

稀疏想象用于高效的视觉世界模型规划

Junha Chun, Youngjoon Jeong, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学) Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学)

专题命中 具身推理 :world model(title,abstract);robotics(abstract);分类 cs.RO、cs.AI、cs.CV

AI总结 本文提出稀疏想象方法,通过减少标记处理数量提升视觉世界模型规划效率,同时保持高控制保真度。

Comments Accepted to ICLR 2026; Project Page: https://nikriz1.github.io/sparse_imagination/

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.16537 2026-02-19 cs.CV cs.AI cs.CL cs.RO 85%

RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics

RoboSpatial: 教授机器人2D和3D视觉-语言模型空间理解能力

Chan Hee Song, Valts Blukis, Jonathan Tremblay, Stephen Tyree, Yu Su, Stan Birchfield

机构 * The Ohio State University(俄亥俄州立大学) NVIDIA(英伟达)

专题命中 具身推理 :robotics(title,abstract);manipulation(abstract);分类 cs.RO、cs.AI、cs.CV

AI总结 RoboSpatial通过构建大规模空间理解数据集,提升机器人2D和3D视觉-语言模型的空间推理能力。

Comments CVPR 2025 (Oral); Project Website: https://chanh.ee/RoboSpatial

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.11021 2026-02-12 cs.RO cs.AI cs.CV 85%

ContactGaussian-WM: Learning Physics-Grounded World Model from Videos

ContactGaussian-WM: 从视频中学习物理基础的世界模型

Meizhong Wang, Wanxin Jin, Kun Cao, Lihua Xie, Yiguang Hong

专题命中 具身推理 :world model(title,abstract);robotic(abstract);分类 cs.RO、cs.AI、cs.CV

AI总结 ContactGaussian-WM通过从稀疏视频中学习物理定律,提升机器人规划与模拟中的复杂动态场景建模能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.08931 2026-01-28 cs.CV cs.AI cs.LG 85%

Astra: General Interactive World Model with Autoregressive Denoising

Astra:通用交互世界模型与自回归去噪

Yixuan Zhu, Jiaqi Feng, Wenzhao Zheng, Yuan Gao, Xin Tao, Pengfei Wan, Jie Zhou, Jiwen Lu

机构 * Tsinghua University(清华大学) Kuaishou Technology(快手科技)

专题命中 具身推理 :world model(title,abstract);manipulation(abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 Astra提出了一种通用交互世界模型,通过自回归去噪和动作感知适配器实现长周期视频预测与多样化交互。

Comments Accepted in ICLR 2026. Code is available at: https://github.com/EternalEvan/Astra

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21690 2025-11-27 cs.RO cs.CV cs.LG 85%

TraceGen: World Modeling in 3D Trace Space Enables Learning from Cross-Embodiment Videos

TraceGen:在3D轨迹空间中进行世界建模,实现跨躯体视频的学习

Seungjae Lee, Yoonkyo Jung, Inkook Chun, Yao-Chih Lee, Zikui Cai, Hongjia Huang, Aayush Talreja, Tan Dat Dao, Yongyuan Liang, Jia-Bin Huang, Furong Huang

机构 * University of Maryland, College Park(马里兰大学 College Park分校)

专题命中 具身推理 :world model(title,abstract);manipulation(abstract);分类 cs.RO、cs.CV、cs.LG

AI总结 TraceGen通过3D轨迹空间实现跨躯体视频学习,利用紧凑的轨迹表示提升机器人任务学习效率与泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20937 2025-11-27 cs.AI cs.CL cs.CV cs.RO 85%

ENACT: Evaluating Embodied Cognition with World Modeling of Egocentric Interaction

ENACT:通过视角交互的世界建模评估具身认知

Qineng Wang, Wenlong Huang, Yu Zhou, Hang Yin, Tianwei Bao, Jianwen Lyu, Weiyu Liu, Ruohan Zhang, Jiajun Wu, Li Fei-Fei, Manling Li

机构 * Northwestern University(西北大学) Stanford University(斯坦福大学) UCLA(加州大学洛杉矶分校)

专题命中 具身推理 :world model(title,abstract);robotics(abstract);分类 cs.RO、cs.AI、cs.CV

AI总结 ENACT通过视角交互的世界建模评估具身认知,揭示VLMs在长周期交互中与人类表现差距扩大,且模型在逆向任务中表现更优。

Comments Preprint version

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.17967 2025-11-26 cs.LG cs.AI cs.CV 85%

Adapting Vision-Language Models for Evaluating World Models

为世界模型评估适应视觉-语言模型

Mariya Hendriksen, Tabish Rashid, David Bignell, Raluca Georgescu, Abdelhak Lemkhenter, Katja Hofmann, Sam Devlin, Sarah Parisot

机构 * University of Oxford(牛津大学) Microsoft Research(微软研究院)

专题命中 具身推理 :world model(title,abstract);embodied AI(abstract);分类 cs.AI、cs.CV、cs.LG

AI总结 本文提出UNIVERSE,一种基于视觉-语言模型的视频世界模型评估器,通过适应不同任务格式和数据约束,实现了细粒度、时间敏感的评估,与任务特定检查点性能相当,并在多种环境中验证了其与人类判断的一致性。

Comments NeurIPS LAW 2025 (Oral)

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.27033 2025-11-03 cs.RO cs.AI cs.CV 85%

A Multi-Modal Neuro-Symbolic Approach for Spatial Reasoning-Based Visual Grounding in Robotics

Simindokht Jahangard, Mehrzad Mohammadi, Abhinav Dhall, Hamid Rezatofighi

机构 * Faculty of Information Technology, Monash University(信息技术学院,墨尔本大学) Department of Electrical Engineering, Sharif University of Technology(电气工程系,谢赫大学)

专题命中 具身推理 :robotics(title,abstract);embodied AI(abstract);分类 cs.RO、cs.AI、cs.CV

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.21447 2025-10-27 cs.CV cs.AI cs.RO 85%

PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis

Yu Yang, Zhilu Zhang, Xiang Zhang, Yihan Zeng, Hui Li, Wangmeng Zuo

机构 * Harbin Institute of Technology(哈尔滨工业大学) Huawei Noah’s Ark Lab(华为诺亚实验室)

专题命中 具身推理 :world model(title,abstract);robotics(abstract);分类 cs.RO、cs.AI、cs.CV

Comments 17 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.24527 2025-09-30 cs.AI cs.LG cs.RO stat.ML 85%

Training Agents Inside of Scalable World Models

Danijar Hafner, Wilson Yan, Timothy Lillicrap

专题命中 具身推理 :world model(title,abstract);robotics(abstract);分类 cs.RO、cs.AI、cs.LG

Comments Website: https://danijar.com/dreamer4/

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.22014 2025-09-29 cs.CV cs.AI cs.HC cs.RO 85%

Lightweight Structured Multimodal Reasoning for Clinical Scene Understanding in Robotics

Saurav Jha, Stefan K. Ehrlich

机构 * SETLabs Resarch GmbH(SETL实验室)

专题命中 具身推理 :robotics(title,abstract);robotic(abstract);分类 cs.RO、cs.AI、cs.CV

Comments 11 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2406.13165 2024-10-22 eess.IV cs.AI cs.CV cs.RO 85%

Cardiac Copilot: Automatic Probe Guidance for Echocardiography with World Model

Haojun Jiang, Zhenguo Sun, Ning Jia, Meng Li, Yu Sun, Shaqi Luo, Shiji Song, Gao Huang

专题命中 具身推理 :world model(title,abstract);navigation(abstract);分类 cs.RO、cs.AI、cs.CV

Comments Accepted by MICCAI2024

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.05557 2026-02-06 cs.CV cs.RO 84%

PIRATR: Parametric Object Inference for Robotic Applications with Transformers in 3D Point Clouds

PIRATR:基于变换器的参数化物体推理用于机器人应用的3D点云

Michael Schwingshackl, Fabio F. Oberweger, Mario Niedermeyer, Huemer Johannes, Markus Murschitz

机构 * AIT Austrian Institute of Technology Center for Vision, Automation & Control(奥地利技术研究院视觉、自动化与控制中心)

专题命中 具身推理 :robotic(title,abstract);world model(abstract);分类 cs.RO、cs.CV;robotics(comments)

AI总结 PIRATR通过端到端3D点云检测框架,结合变换器实现参数化物体的6自由度姿态和属性估计,适用于机器人应用。

Comments 8 Pages, 11 Figures, Accepted at 2026 IEEE International Conference on Robotics & Automation (ICRA) Vienna

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.02912 2025-11-25 cs.MA cs.AI cs.LG cs.SY eess.SY 84%

Communicating Plans, Not Percepts: Scalable Multi-Agent Coordination with Embodied World Models

传达计划,而非感知:基于具身世界模型的可扩展多智能体协调

Brennen A. Hill, Mant Koh En Wei, Thangavel Jishnuanandh

机构 * Department of Computer Science University of Wisconsin-Madison(计算机科学系 明尼苏达大学) Department of Computer Science National University of Singapore(计算机科学系 新加坡国立大学)

专题命中 具身推理 :world model(title,abstract);embodied AI(abstract);分类 cs.AI、cs.LG

AI总结 本文提出基于具身世界模型的意图通信方法,通过端到端学习与工程化设计对比,展示在复杂环境下更优的协调能力。

Comments Published in the Proceedings of the 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Scaling Environments for Agents (SEA). Additionally accepted for presentation in the NeurIPS 2025 Workshop: Embodied World Models for Decision Making (EWM) and the NeurIPS 2025 Workshop: Optimization for Machine Learning (OPT)

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.04633 2025-11-05 cs.NE cs.AI cs.LG q-bio.NC 84%

The Physical Basis of Prediction: World Model Formation in Neural Organoids via an LLM-Generated Curriculum

Brennen Hill

机构 * Department of Computer Science University of Wisconsin-Madison(计算机科学系 威斯康星大学麦迪逊分校)

专题命中 具身推理 :world model(title,abstract);embodied agent(abstract);分类 cs.AI、cs.LG

Comments Published in the proceedings of the 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Scaling Environments for Agents (SEA). Additionally accepted for presentation in NeurIPS 2025 Workshop: Embodied World Models for Decision Making

详情

展开后加载摘要…

URL PDF HTML 收藏
2406.10788 2024-06-18 cs.RO 84%

Physically Embodied Gaussian Splatting: A Realtime Correctable World Model for Robotics

Jad Abou-Chakra, Krishan Rana, Feras Dayoub, Niko Sünderhauf

专题命中 具身推理 :robotics(title);world model(title);分类 cs.RO

详情

展开后加载摘要…

URL PDF HTML 收藏
2308.15852 2023-09-19 cs.RO 84%

Learning to Navigate from Scratch using World Models and Curiosity: the Good, the Bad, and the Ugly

Daria de Tinguy, Sven Remmery, Pietro Mazzaglia, Tim Verbelen, Bart Dhoedt

专题命中 具身推理 :world model(title,abstract);navigation(abstract);分类 cs.RO;robotics(comments)

Comments IROS 2023 workshop World Models and Predictive Coding in Cognitive Robotics and IROS 2023 workshop Learning Robot Super Autonomy

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13456 2026-08-14 cs.AI cs.CV 新提交 84%

A Unifying Perspective on Causal World Models: From Observations to Representations to Structure

因果世界模型的统一视角:从观测到表征再到结构

Avinash Kori, Fabrizio Russo

机构 * Imperial College London(帝国理工学院)

专题命中 具身推理 :world model(title,abstract);分类 cs.AI、cs.CV

AI总结 本文从因果视角研究不同抽象层级的世界模型,提出因果世界模型的形式定义,关联相关领域工作并阐明其组件可从数据恢复的条件,为世界模型奠定支持因果推理与决策的基础。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.06020 2026-08-07 cs.AI cs.LG 新提交 84%

From Economic Agents to Agentic Economies: A Systems Blueprint for Economic World Models

从经济智能体到智能体经济:经济世界模型的系统蓝图

Jiale Han, Xiang Li, Jing Qian, Wenyuan Gu, Pin Gao, Ye Luo, Hongyuan Zha, Dacheng Tao, Benyou Wang, Lin William Cong

机构 * Shenzhen Loop Area Institute(深圳河套学院) School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院) University of Hong Kong(香港大学) Nanyang Technological University(南洋理工大学)

专题命中 具身推理 :world model(title,abstract);分类 cs.AI、cs.LG

AI总结 本文提出经济世界模型(EWM)的六级能力阶梯实施蓝图,旨在加速可作为人类决策沙箱与AI智能体基础的下一代高保真经济模拟环境开发。

Comments Project page: https://github.com/FreedomIntelligence/Awesome-Economic-World-Models

详情

展开后加载摘要…

URL PDF HTML 收藏