视频大模型

Worldscape-MoE: A Unified Mixture-of-Experts World Model for Scalable Heterogeneous Action Control

Worldscape-MoE：用于可扩展异构动作控制的统一专家混合世界模型

Jianjie Fang, Yongyan Xu, Ziyou Wang, Chen Gao, Yuchao Huang, Zhaolu Wang, Rongze Tang, Mingyuan Jia, Baining Zhao, Weichen Zhang, Xin Zhang, Haisheng Su, Yu Shang, Wei Wu, Xinlei Chen, Yong Li

机构 * Tsinghua University（清华大学） ； Manifold AI 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 研究视频生成世界模型控制接口碎片化瓶颈，提出基于扩散变换器的专家混合世界模型Worldscape-MoE，通过模态感知控制注入等实现异构动作控制，实验验证其有效性和扩展性。

Comments 36 pages

Efficient Sim-to-Real Transfer of World-Action Models from Synthetic Priors

基于合成先验的世界-动作模型的高效仿真到现实迁移

Zixing Wang, Kausik Sivakumar, Jinghuan Shang, Yafei Hu, Zhaoming Xie, Ran Gong, Xiaohan Zhang, Karl Schmeckpeper

机构 * Purdue University（普渡大学） ； Robotics and AI Institute（机器人与人工智能研究所） 纠错

专题命中 动作与事件理解 ：video diffusion(abstract)

AI总结 本文研究从合成先验训练世界-动作模型并零样本部署到真实机器人操作，通过域随机化和AnyTask运动规划生成演示，首次成功实现仿真到现实的迁移。

Comments This work is accepted by CVPR'26, Embodied AI Workshop. This paper represent a part of early result of our official world-action model zero-shot sim-to-real transfer work, which will be released soon

Learning Transferable Dynamics Priors from Action to World Modeling

从动作到世界建模的可迁移动力学先验学习

Ze Huang, Jiahui Zhang, Hairuo Liu, Chenxi Zhang, Ran Cheng, Li Zhang

机构 * School of Data Science, Fudan University, Shanghai, China（复旦大学数据科学学院，上海，中国） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院，上海，中国） ； Shanghai Jiao Tong University, Shanghai, China（上海交通大学，上海，中国） ； McGill University, Montreal, QC, Canada（麦吉尔大学，蒙特利尔，魁北克，加拿大） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 提出A2World模型，通过大规模机器人操作数据预训练动作条件世界模型，学习可迁移的交互动力学先验，支持模拟器评估和策略学习。

Comments ECCV 2026 Accepted

LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies

LaWAM: 用于高效动力学感知机器人策略的潜在世界行动模型

Jialei Chen, Kai Wang, Kang Chen, Shuaihang Chen, Feng Gao, Wenhao Tang, Zhiyuan Li, Weilin Liu, Zhuyu Yao, Boxun Li, Yuanbo Xu, Chao Yu

机构 * Tsinghua University（清华大学） ； Jilin University（吉林大学） ； Nankai University（南开大学） ； Peking University（北京大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Zhongguancun Academy（中关村学院） ； Striding.AI ； Infinigence AI 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 提出LaWAM模型，通过潜在视觉子目标预测场景变化，实现动力学感知的机器人控制，在多个基准上达到最优或竞争性成功率，且推理延迟低。

FineVLA: Fine-Grained Instruction Alignment for Steerable Vision-Language-Action Policies

FineVLA：面向可操控视觉-语言-动作策略的细粒度指令对齐

Xintong Hu, Xuhong Huang, Jinyu Zhang, Yutong Yao, Yuchong Sun, Qiuyue Wang, Mingsheng Li, Sicheng Xie, Yitao Liu, Junhao Chen, Yixuan Chen, Yingming Zheng, Shuai Bai, Tao Yu

机构 * XLANG Lab, The University of Hong Kong（XLANG实验室，香港大学） ； Qwen Team, Alibaba Inc.（通义团队，阿里巴巴公司） 纠错

专题命中 动作与事件理解 ：video understanding(abstract)

AI总结 提出FineVLA框架，通过构建细粒度数据集和训练策略，在保持任务成功率的同时实现机器人动作的细粒度可控性。

Comments 26 pages, 7 figures, 25 tables

CLAW: Learning Continuous Latent Action World Models via Adversarial Latent Regularization

CLAW: 通过对抗潜在正则化学习连续潜在动作世界模型

Tewodros Ayalew, Matthew Jeung, Samuel Wheeler, Xiao Zhang, Andre de la Cruz Arce, Kaylene Stocking, Michael Maire, Matthew R. Walter

机构 * University of Chicago（芝加哥大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 提出CLAW框架，利用对抗潜在正则化和扩散视频生成，从无动作视频中端到端学习世界模型与连续潜在动作表示，支持观察模仿学习和目标导向规划。

Comments 8 pages, 15 pages of supplementary material

$τ_0$-WM: A Unified Video-Action World Model for Robotic Manipulation

$\tau_0$-WM：一种用于机器人操作的统一视频-动作世界模型

Pengfei Zhou, Shengcong Chen, Di Chen, Jiaxu Wang, Rongjun Jin, Bingwen Zhu, Yike Pan, Songen Gu, Kuanning Wang, Shufeng Nan, Xingyu Qiu, Chenhao Qiu, Pu Yang, Yunuo Cai, Jianxiong Gao, Yifan Li, Yanwei Fu, Xiangyu Yue, Zhi Chen, Jianlan Luo

机构 * Shanghai Innovation Institute（上海创新研究院） ； AGIBOT Finch 纠错

专题命中 动作与事件理解 ：video diffusion(abstract)

AI总结 提出$\tau_0$-WM，一个统一视频-动作世界模型，通过共享视频扩散骨干集成策略学习、视频预测和动作评估，在长时域和精细操作任务上优于基线。

Comments Our project homepge: https://finch.agibot.com/research/tau0-wm

LaWM: Least Action World Models for Long-Horizon Physical Consistency from Visual Observations

LaWM：基于视觉观测的最短作用世界模型用于长时间物理一致性

Qixin Xiao, Maani Ghaffari

机构 * University of Michigan（密歇根大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 LaWM通过在视觉潜在空间中实现最小作用原理，提升长horizon视觉预测的物理一致性，改进了物理不变性、背景一致性、运动平滑度和外观几何预测指标。

DriVerse: Navigation World Model for Driving Simulation via Multimodal Trajectory Prompting and Motion Alignment

DriVerse：通过多模态轨迹提示和运动对齐实现驾驶模拟的导航世界模型

Xiaofan Li, Chenming Wu, Zhao Yang, Zhihao Xu, Dingkang Liang, Yumeng Zhang, Ji Wan, Jun Wang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 DriVerse通过多模态轨迹提示和运动对齐技术，实现从单张图像和未来轨迹生成导航驱动的驾驶场景，提升了动态对象的生成精度和时间一致性。

Comments 13 pages, 5 figures

AIM: Intent-Aware Unified world action Modeling with Spatial Value Maps

AIM: 基于意图的统一世界动作建模与空间价值图

Liaoyuan Fan, Zetian Xu, Chen Cao, Wenyao Zhang, Mingqi Yuan, Jiayu Chen

机构 * INFIFORCE Intelligent Technology Co., Ltd.（英飞睿智科技有限公司） ； The University of Hong Kong（香港大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 AIM通过显式空间接口解决视频模型与动作生成间的结构不匹配问题，利用预训练视频生成模型和意图因果注意力机制，实现高成功率的机器人控制。

Veo-Act: How Far Can Frontier Video Models Advance Generalizable Robot Manipulation?

Veo-Act：前沿视频模型在通用机器人操作中能走多远？

Zhongru Zhang, Chenghan Yang, Qingzhou Lu, Yanjiang Guo, Jianke Zhang, Yucheng Hu, Jianyu Chen

机构 * Tsinghua University（清华大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 本文探讨前沿视频模型如Veo-3在通用机器人操作中的应用，提出Veo-Act框架结合高阶运动规划与低阶执行器，提升指令跟随性能。

Comments 16 pages, 12 figures. Equal contribution by Zhongru Zhang, Chenghan Yang, Qingzhou Lu and Yanjiang Guo. Project lead: Yanjiang Guo

Co-Evolving Latent Action World Models

共演潜在动作世界模型

Yucen Wang, Fengming Zhang, De-Chuan Zhan, Li Zhao, Kaixin Wang, Jiang Bian

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 本文提出CoLA-World，通过关键预热阶段实现联合学习，解决世界模型与动作模型的协同问题，提升视频模拟质量和下游视觉规划性能。

EgoDemoGen: Egocentric Demonstration Generation for Viewpoint Generalization in Robotic Manipulation

EgoDemoGen：用于机器人操作中视角泛化的眼动演示生成

Yuan Xu, Jiabing Yang, Xiaofeng Wang, Yixiang Chen, Zheng Zhu, Bowen Fang, Guan Huang, Xinze Chen, Yun Ye, Qiang Zhang, Peiyan Li, Xiangnan Wu, Kai Wang, Bing Zhan, Shuo Lu, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

机构 * UCAS（中国科学院大学） ； CASIA（中国科学院自动化研究所） ； GigaAI ； Tsinghua University（清华大学） ； X-Humanoid ； FiveAges 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 本文提出EgoDemoGen框架，通过EgoTrajTransfer和EgoViewTransfer生成新型眼动视角下的观察-动作演示，提升机器人操作在视角变化下的成功率。

H-WM: Robotic Task and Motion Planning Guided by Hierarchical World Model

H-WM：由分层世界模型引导的机器人任务和运动规划

Jinbang Huang, Wenyuan Chen, Zhiyuan Li, Oscar Pang, Xiao Hu, Lingfeng Zhang, Yuanzhao Hu, Zhanguang Zhang, Mark Coates, Tongtong Cao, Xingyue Quan, Yingxue Zhang

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； University of Toronto（多伦多大学） ； University of British Columbia（不列颠哥伦比亚大学） ； McGill University（麦吉尔大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 H-WM通过结合逻辑和视觉世界模型，实现机器人任务和运动规划中的鲁棒长视界推理与稳定引导。

Comments 8 pages, 4 figures

VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model

VLAW: 视觉-语言-动作策略与世界模型的迭代共改进

Yanjiang Guo, Tony Lee, Lucy Xiaoyang Shi, Jianyu Chen, Percy Liang, Chelsea Finn

机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

AI总结 本文提出通过迭代改进视觉-语言-动作策略与世界模型，提升真实机器人任务的性能和可靠性。

Comments Project Page: https://sites.google.com/view/vlaw-arxiv

Content and Engagement Trends in COVID-19 YouTube Videos: Evidence from the Late Pandemic

Nirmalya Thakur, Madeline D Hartel, Lane Michael Boden, Dallas Enriquez, Boston Joyner Ricks

专题命中 动作与事件理解 ：long video(abstract)

Video Generators are Robot Policies

Junbang Liang, Pavel Tokmakov, Ruoshi Liu, Sruthi Sudhakar, Paarth Shah, Rares Ambrus, Carl Vondrick

机构 * Columbia University（哥伦比亚大学） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

A Challenge to Build Neuro-Symbolic Video Agents

Sahil Shah, Harsh Goel, Sai Shankar Narasimhan, Minkyu Choi, S P Sharan, Oguzhan Akcin, Sandeep Chinchali

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 动作与事件理解 ：video understanding(abstract)

ManipDreamer: Boosting Robotic Manipulation World Model with Action Tree and Visual Guidance

Ying Li, Xiaobao Wei, Xiaowei Chi, Yuming Li, Zhongyu Zhao, Hao Wang, Ningning Ma, Ming Lu, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing（多媒体信息处理国家重点实验室） ； School of Computer Science, Peking University（北京大学计算机学院） ； Hong Kong University of Science and Technology（香港科技大学） ； Autonomous Driving Development, NIO（蔚来自动驾驶研发） 纠错

专题命中 动作与事件理解 ：video generation(abstract)

Comments 9 pages, 3 figures

A Misleading Gallery of Fluid Motion by Generative Artificial Intelligence

Ali Kashefi

专题命中 动作与事件理解 ：video generation(abstract)

Human Action Attribute Learning From Video Data Using Low-Rank Representations

Tong Wu, Prudhvi Gurram, Raghuveer M. Rao, Waheed U. Bajwa

专题命中 动作与事件理解 ：long video(abstract)

Comments 26 pages; 8 figures; 2 tables; Rutgers University Technical Report #2020-07-001

Learning Pain from Action Unit Combinations: A Weakly Supervised Approach via Multiple Instance Learning

Zhanli Chen, Rashid Ansari, Diana J. Wilkie

专题命中 动作与事件理解 ：long video(abstract)