视频大模型

A Mechanistic View on Video Generation as World Models: State and Dynamics

视频生成作为世界模型的机制视角：状态与动态

Luozhou Wang, Zhifei Chen, Yihua Du, Dongyu Yan, Wenhang Ge, Guibao Shen, Xinli Xu, Leyi Wu, Man Chen, Tianshuo Xu, Peiran Ren, Xin Tao, Pengfei Wan, Ying-Cong Chen

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Tongji University（同济大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出基于状态构建和动态建模的视频生成新分类法，旨在提升视频生成模型的物理持续性和因果推理能力。

LoL: Longer than Longer, Scaling Video Generation to Hour

LoL: 长于更长，将视频生成扩展至小时级

Justin Cui, Jie Wu, Ming Li, Tao Yang, Xiaojie Li, Rui Wang, Andrew Bai, Yuanhao Ban, Cho-Jui Hsieh

机构 * University of Central Florida（中央佛罗里达大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 LoL提出一种无需训练的方法，通过多头RoPE抖动缓解视频生成中的sink-collapse问题，实现长时长、高质量的流式视频生成。

Comments preprint

Rethinking Video Generation Model for the Embodied World

重新思考具身世界的视频生成模型

Yufan Deng, Zilin Pan, Hongyu Zhang, Xiaojie Li, Ruoqing Hu, Yufei Ding, Yiming Zou, Yan Zeng, Daquan Zhou

机构 * Peking University（北京大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出Rbench机器人视频生成基准和RoVid-X数据集，旨在解决高保真机器人视频生成中的数据短缺问题，推动具身AI发展。

Comments Github: https://github.com/DAGroup-PKU/ReVidgen/ Project website: https://dagroup-pku.github.io/ReVidgen.github.io/

StableWorld: Towards Stable and Consistent Long Interactive Video Generation

StableWorld: 向稳定和一致的长交互视频生成迈进

Ying Yang, Zhengyao Lv, Tianlin Pan, Haofan Wang, Binxin Yang, Hubery Yin, Chen Li, Ziwei Liu, Chenyang Si

机构 * PRLab, NJU（南京大学PRLab） ； HKU（香港大学） ； UCAS（中国科学技术大学） ； WeChat, Tencent Inc.（腾讯公司） ； NTU（国立清华大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 StableWorld通过动态帧淘汰机制提升长交互视频生成的稳定性和时间一致性，适用于多种生成框架。

Comments 17 pages, 21 figures,

Future Optical Flow Prediction Improves Robot Control & Video Generation

未来光流预测改进机器人控制与视频生成

Kanchana Ranasinghe, Honglu Zhou, Yu Fang, Luyu Yang, Le Xue, Ran Xu, Caiming Xiong, Silvio Savarese, Michael S Ryoo, Juan Carlos Niebles

机构 * Salesforce AI Research（Salesforce AI研究院） ； Stony Brook University（石溪大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 FOFPred通过统一的视觉-语言模型和扩散架构，实现高效的未来光流预测，提升机器人控制与视频生成的性能。

Comments Project Site (Code, Models, Demo): https://fofpred.github.io

FlowAct-R1: Towards Interactive Humanoid Video Generation

FlowAct-R1: 向交互式人形视频生成迈进

Lizhen Wang, Yongming Zhu, Zhipeng Ge, Youwei Zheng, Longhao Zhang, Tianshu Hu, Shiyang Qin, Mingshuang Luo, Jiaxu Zhang, Xin Chen, Yulong Wang, Zerong Zheng, Jianwen Jiang, Chao Liang, Weifeng Chen, Xing Wang, Yuan Zhang, Mingyuan Gao

机构 * ByteDance Intelligent Creation（字节跳动智能创作） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 FlowAct-R1通过分块扩散策略和高效优化，实现了实时交互式人形视频生成，具备高保真和低延迟的视频合成能力。

Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

通过稀疏扩散和3D渲染实现静态场景的高效摄像机控制视频生成

Jieying Chen, Jeffrey Hu, Joan Lasenby, Ayush Tewari

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出SRENDER方法，通过稀疏扩散和3D渲染生成静态场景的高效视频，使视频生成速度提升40倍，保持高质量和稳定性。

Comments Project page: https://ayushtewari.com/projects/srender/

VideoAR: Autoregressive Video Generation via Next-Frame & Scale Prediction

VideoAR: 通过下一帧与尺度预测实现自回归视频生成

Longbin Ji, Xiaoxiong Liu, Junyuan Shang, Shuohuan Wang, Yu Sun, Hua Wu, Haifeng Wang

机构 * ERNIE Team, Baidu（百度ERNIE团队） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 VideoAR通过多尺度下一帧预测与自回归建模，实现高效、一致的视频生成，提升性能并减少计算成本。

Comments Project page: https://ernie-research.github.io/VideoAR/

PhyRPR: Training-Free Physics-Constrained Video Generation

PhyRPR: 无训练物理约束视频生成

Yibo Zhao, Hengjia Li, Xiaofei He, Boxi Wu

机构 * State Key Lab of CAD\&CG, Zhejiang University（CAD与CG国家重点实验室，浙江大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 PhyRPR提出一种无训练的三阶段视频生成方法，通过解耦物理理解和视觉合成，提升生成视频的物理合理性和运动可控性。

Video Generation Models Are Good Latent Reward Models

视频生成模型是良好的潜在奖励模型

Xiaoyue Mi, Wenqing Yu, Jiesong Lian, Shibo Jie, Ruizhe Zhong, Zijun Liu, Guozhen Zhang, Zixiang Zhou, Zhiyong Xu, Yuan Zhou, Qinglin Lu, Fan Tang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Tencent Hunyuan（腾讯文元） ； Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出PRFL框架，利用预训练视频生成模型在噪声潜在空间中进行奖励建模，实现高效去噪和降低训练成本。

Plenoptic Video Generation

光场视频生成

Xiao Fu, Shitao Tang, Min Shi, Xian Liu, Jinwei Gu, Ming-Yu Liu, Dahua Lin, Chen-Hsuan Lin

机构 * NVIDIA ； The Chinese University of Hong Kong（香港中文大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 PlenopticDreamer通过多输入单输出视频条件模型和相机引导检索策略，实现高质量多视角视频重绘，提升时空一致性和视角转换能力。

Comments Project Page: https://research.nvidia.com/labs/dir/plenopticdreamer/

PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache

PackCache: 一种无需训练的统一自回归视频生成加速方法通过紧凑的KV缓存

Kunyang Li, Mubarak Shah, Yuzhang Shang

机构 * Institute of Artificial Intelligence, University of Central Florida（人工智能学院，中央佛罗里达大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 PackCache通过动态压缩KV缓存提升统一自回归视频生成效率，显著加速长序列生成。

PhysVideoGenerator: Towards Physically Aware Video Generation via Latent Physics Guidance

PhysVideoGenerator: 通过潜在物理引导实现物理感知的视频生成

Siddarth Nilol Kundur Satish, Devesh Jaiswal, Hongyu Chen, Abhishek Bakshi

机构 * Center for Data Science New York University（数据科学中心 新 York 大学） ； Department of Computer Science New York University（计算机科学系 新 York 大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 PhysVideoGenerator通过在视频生成过程中引入可学习的物理先验，实现物理感知的视频生成，展示了联合训练范式的可行性。

Comments 9 pages, 2 figures, project page: https://github.com/CVFall2025-Project/PhysVideoGenerator

Dream2Flow: Bridging Video Generation and Open-World Manipulation with 3D Object Flow

Dream2Flow: 通过3D物体流连接视频生成与开放世界操控

Karthik Dharmarajan, Wenlong Huang, Jiajun Wu, Li Fei-Fei, Ruohan Zhang

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 Dream2Flow通过3D物体流连接视频生成与开放世界操控，实现零样本操控不同类别的物体。

Comments Project website: https://dream2flow.github.io/

MoFu: Scale-Aware Modulation and Fourier Fusion for Multi-Subject Video Generation

MoFu: 多主体视频生成的尺度感知调制与傅里叶融合

Run Ling, Ke Cao, Jian Lu, Ao Ma, Haowei Liu, Runze He, Changwei Wang, Rongtao Xu, Yihua Shao, Zhanjie Zhang, Peng Wu, Guibing Guo, Wei Feng, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Xingwei Wang

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 MoFu通过尺度感知调制和傅里叶融合解决多主体视频生成中的尺度不一致和排列敏感性问题，提升生成质量。

Comments AAAI 2026

DreaMontage: Arbitrary Frame-Guided One-Shot Video Generation

DreaMontage：任意帧引导的一次生成视频

Jiawei Liu, Junqiao Li, Jiangfan Deng, Gen Li, Siyu Zhou, Zetao Fang, Shanshan Lao, Zengde Deng, Jianing Zhu, Tingting Ma, Jiayi Li, Yunqiu Wang, Qian He, Xinglong Wu

机构 * Intelligence Creation Team, ByteDance（字节跳动智能创作团队） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 DreaMontage通过任意帧引导生成技术，实现高效且高质量的一次生成视频，提升电影制作的视觉表现力和内容连贯性。

Comments Project Page: https://dreamontage.github.io/DreaMontage/

HiStream: Efficient High-Resolution Video Generation via Redundancy-Eliminated Streaming

HiStream: 通过消除冗余的流式传输实现高效的高分辨率视频生成

Haonan Qiu, Shikun Liu, Zijian Zhou, Zhaochong An, Weiming Ren, Zhiheng Liu, Jonas Schult, Sen He, Shoufa Chen, Yuren Cong, Tao Xiang, Ziwei Liu, Juan-Manuel Perez-Rua

机构 * Meta AI ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 HiStream通过空间、时间及时间步压缩优化，实现高分辨率视频生成的高效去噪，相比基线模型提升107.5倍速度并保持高质量。

Comments Project Page: http://haonanqiu.com/projects/HiStream.html

X-CoT: Explainable Text-to-Video Retrieval via LLM-based Chain-of-Thought Reasoning

X-CoT：基于LLM链式推理的可解释文本到视频检索

Prasanna Reddy Pulakurthi, Jiamian Wang, Majid Rabbani, Sohail Dianat, Raghuveer Rao, Zhiqiang Tao

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 视频生成 ：text-to-video(title,abstract)；分类 cs.CV

AI总结 X-CoT通过基于LLM的链式推理实现文本到视频检索的可解释性，提升检索性能并提供详细的推理依据。

Comments 12 pages, 7 figures. Accepted at EMNLP 2025 (Main Conference)

Journal ref Proc. EMNLP 2025, pages 31172-31183, Suzhou, China, Nov. 2025

TiViBench: Benchmarking Think-in-Video Reasoning for Video Generative Models

TiViBench: 用于视频生成模型的视频推理基准测试

Harold Haodong Chen, Disen Lan, Wen-Jie Shu, Qingyang Liu, Zihan Wang, Sirui Chen, Wenkai Cheng, Kanghao Chen, Hongfei Zhang, Zixin Zhang, Rongjin Guo, Yu Cheng, Ying-Cong Chen

专题命中 视频生成 ：video reasoning(title)；video generation(abstract)；分类 cs.CV

AI总结 TiViBench提出用于评估视频生成模型的推理能力，结合VideoTPO提升推理性能，揭示商业与开源模型在推理潜力上的差异。

Comments Project: https://haroldchen19.github.io/TiViBench-Page/

Spatia: Video Generation with Updatable Spatial Memory

基于可更新空间记忆的视频生成

Jinjing Zhao, Fangyun Wei, Zhening Liu, Hongyang Zhang, Chang Xu, Yan Lu

机构 * The University of Sydney（悉尼大学） ； Microsoft Research（微软研究院） ； HKUST（香港科技大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 Spatia通过可更新的空间记忆机制，实现视频生成中的长期空间与时间一致性，支持动态实体生成和3D交互编辑。

Comments Project page: https://zhaojingjing713.github.io/Spatia/

Transform Trained Transformer: Accelerating Naive 4K Video Generation Over 10$\times$

训练变换器：加速 naive 4K 视频生成超过 10$\times$

Jiangning Zhang, Junwei Zhu, Teng Hu, Yabiao Wang, Donghao Luo, Weijian Cao, Zhenye Gan, Xiaobin Hu, Zhucun Xue, Chengjie Wang

机构 * Youtu Lab, Tencent（腾讯优设实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 T3-Video 通过优化全注意力机制，显著提升 4K 视频生成效率，实现性能与速度的双重突破

Comments Project page: https://zhangzjn.github.io/projects/T3-Video

PoseAnything: Universal Pose-guided Video Generation with Part-aware Temporal Coherence

PoseAnything: 通用姿态引导视频生成与部分感知时间一致性

Ruiyan Wang, Teng Hu, Kaihui Huang, Zihan Su, Ran Yi, Lizhuang Ma

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 PoseAnything是一种通用姿态引导视频生成框架，能够处理人类和非人类角色，通过引入部分感知时间一致性模块和解耦CFG策略，提升了视频生成的精度和泛化能力。

GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation

GenieDrive: 向具有物理意识的驾驶世界模型迈进：基于4D占用的视频生成

Zhenya Yang, Zhe Liu, Yuxiang Lu, Liping Hou, Chenxuan Miao, Siyi Peng, Bailan Feng, Xiang Bai, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 GenieDrive通过4D占用引导的视频生成，实现物理意识的驾驶视频生成，提升预测精度和视频质量。

Comments The project page is available at https://huster-yzy.github.io/geniedrive_project_page/

TV2TV: A Unified Framework for Interleaved Language and Video Generation

TV2TV：一种用于交错语言和视频生成的统一框架

Xiaochuang Han, Youssef Emad, Melissa Hall, John Nguyen, Karthik Padthe, Liam Robbins, Amir Bar, Delong Chen, Michal Drozdzal, Maha Elbayad, Yushi Hu, Shang-Wen Li, Sreya Dutta Roy, Jakob Verbeek, XuDong Wang, Marjan Ghazvininejad, Luke Zettlemoyer, Emily Dinan

机构 * Meta FAIR 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 TV2TV通过统一框架实现语言与视频生成的交错过程，提升视频生成的视觉质量和可控性。

Any2Caption:Interpreting Any Condition to Caption for Controllable Video Generation

Any2Caption：任何条件到字幕以实现可控视频生成

Shengqiong Wu, Weicai Ye, Jiahao Wang, Quande Liu, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Shuicheng Yan, Hao Fei, Tat-Seng Chua

机构 * Kuaishou Technology（快手科技） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 Any2Caption通过多模态大语言模型实现任何条件到字幕的可控视频生成，提升视频生成的可控性和质量。

Comments Project Page: https://sqwu.top/Any2Cap/

AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation

AlcheMinT：多参考一致视频生成的细粒度时间控制

Sharath Girish, Viacheslav Ivanov, Tsai-Shien Chen, Hao Chen, Aliaksandr Siarohin, Sergey Tulyakov

机构 * Snap Inc. ； UC Merced（加州大学默塞德分校） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 AlcheMinT通过引入显式时间戳条件化，实现了多主体视频生成中的细粒度时间控制，提升了视频生成的精确性和保真度。

Comments Project page: https://snap-research.github.io/Video-AlcheMinT/snap-research.github.io/Video-AlcheMinT

ShotDirector: Directorially Controllable Multi-Shot Video Generation with Cinematographic Transitions

ShotDirector: 电影化可控多镜头视频生成

Xiaoxue Wu, Xinyuan Chen, Yaohui Wang, Yu Qiao

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 ShotDirector通过整合参数级相机控制和分层编辑模式感知提示，实现了电影化可控的多镜头视频生成。

Comments Project Page: https://uknowsth.github.io/ShotDirector/

StereoWorld: Geometry-Aware Monocular-to-Stereo Video Generation

StereoWorld: 一种基于几何的单目到立体视频生成方法

Ke Xing, Xiaojie Jin, Longfei Li, Yuyang Yin, Hanwen Liang, Guixun Luo, Chen Fang, Jue Wang, Konstantinos N. Plataniotis, Yao Zhao, Yunchao Wei

机构 * Beijing Jiaotong University（北京交通大学） ； Dzine AI ； University of Toronto（多伦多大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 StereoWorld通过几何感知正则化和时空拼接方案，实现高效高质量的单目到立体视频生成。

Video4Spatial: Towards Visuospatial Intelligence with Context-Guided Video Generation

Video4Spatial: 通过基于场景的视频生成实现视觉空间智能

Zeqi Xiao, Yiwei Zhao, Lingxiao Li, Yushi Lan, Ning Yu, Rahul Garg, Roshni Cooper, Mohammad H. Taghavi, Xingang Pan

机构 * Netflix ； Nanyang Technological University（南洋理工大学） ； University of Oxford（牛津大学） ； Eyeline Studios 纠错

专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 Video4Spatial通过仅使用视频数据训练的生成模型，实现了复杂空间任务的视觉空间智能，展示了视频生成模型在空间推理中的潜力。

Comments Project page at https://xizaoqu.github.io/video4spatial/

UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation

UnityVideo: 一体化多模态多任务学习以增强世界感知视频生成

Jiehui Huang, Yuechen Zhang, Xu He, Yuan Gao, Zhi Cen, Bin Xia, Yan Zhou, Xin Tao, Pengfei Wan, Jiaya Jia

机构 * HKUST（香港科技大学） ； CUHK（香港中文大学） ； Tsinghua University（清华大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 UnityVideo通过一体化多模态多任务学习提升视频生成的世界感知能力，引入动态噪声化和模态切换器，实现更全面的世界知识表示。

Comments Project Website https://jackailab.github.io/Projects/UnityVideo