视频大模型

VFMF: World Modeling by Forecasting Vision Foundation Model Features

VFMF：通过预测视觉基础模型特征进行世界建模

Gabrijel Boduljak, Yushi Lan, Christian Rupprecht, Andrea Vedaldi

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出了一种基于VFM特征的生成预测器，通过自回归流匹配在潜在空间中实现更准确的预测，提升世界建模的效率和效果。

Label-free Motion-Conditioned Diffusion Model for Cardiac Ultrasound Synthesis

无标签的运动条件化扩散模型用于心脏超声合成

Zhe Li, Hadrien Reynaud, Johanna P Müller, Bernhard Kainz

机构 * Department AIBE, FAU Erlangen-Nürnberg（AIBE部门，埃尔朗根-纽伦堡大学） ； Department of Computing, Imperial College London（计算系，伦敦帝国理工学院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出无标签的运动条件化扩散模型，通过自监督运动特征生成逼真的心脏超声视频，无需手动标注。

Comments Accepted at MICAD 2025

DirectSwap: Mask-Free Cross-Identity Training and Benchmarking for Expression-Consistent Video Head Swapping

DirectSwap: 无掩码跨身份训练与基准测试用于表情一致的视频头部交换

Yanan Wang, Shengcai Liao, Panwen Hu, Xin Li, Fan Yang, Xiaodan Liang

机构 * MBZUAI（马克斯·普朗克智能研究院） ； UAEU（阿拉伯联合酋长国大学） ； AIQ（人工智能量子研究所） ； SYSU（南方大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 DirectSwap通过无掩码直接视频头部交换框架，结合运动和表情感知重建损失，实现了跨身份视频头部交换的高质量和一致性。

H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos

H2R-Grounder：一种无需配对数据的视频到物理 grounded 机器人视频翻译范式

Hai Ci, Xiaokang Liu, Pei Yang, Yiren Song, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学显示实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 H2R-Grounder通过无需配对数据的方法，将人类交互视频转换为物理 grounded 的机器人视频，提升机器人学习的现实感和扩展性。

Comments 13 pages, 6 figures

Video Dataset Condensation with Diffusion Models

视频数据集压缩与扩散模型

Zhe Li, Hadrien Reynaud, Mischa Dombrowski, Sarah Cechnicka, Franciskus Xaverius Erick, Bernhard Kainz

机构 * Department AIBE FAU Erlangen-Nürnberg（FAU埃尔朗根-纽伦堡AIBE部门） ； Department of Computing Imperial College London（伦敦帝国理工学院计算系） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出基于扩散模型和VST-UNet的视频数据集压缩方法，结合训练免费聚类算法，有效提升视频数据集蒸馏性能，达到10.61%的性能提升。

Comments Accepted at BMVC 2025

Coefficients-Preserving Sampling for Reinforcement Learning with Flow Matching

为流匹配强化学习中的系数保持采样

Feng Wang, Zihao Yu

机构 * CreateAI 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 通过系数保持采样方法，减少流匹配强化学习中的噪声伪影，提升奖励建模精度和优化器收敛稳定性。

Comments work in progress

EVCtrl: Efficient Control Adapter for Visual Generation

EVCtrl: 用于视觉生成的高效控制适配器

Zixiang Yang, Yue Ma, Yinhan Zhang, Shanhui Mo, Dongrui Liu, Linfeng Zhang

机构 * UESTC（电子科技大学） ； HKUST（香港科技大学） ； SJTU（上海交通大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 EVCtrl通过轻量级控制适配器提升视觉生成效率，实现高效可控生成，无需重新训练模型。

DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models

DreamingComics: 通过主体和布局定制生成实现故事可视化管道

Patrick Kwon, Chen Chen

机构 * Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 DreamingComics通过结合视频模型和布局生成技术，实现了基于主体和布局定制的高效故事可视化方法，提升了角色一致性和风格相似性。

ChronosObserver: Taming 4D World with Hyperspace Diffusion Sampling

ChronosObserver: 用超空间扩散采样驯服4D世界

Qisen Wang, Yifan Zhao, Peisen Shen, Jialu Li, Jia Li

机构 * State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 ChronosObserver通过超空间表示和引导采样，实现无需训练的高质量多视角时间同步视频生成，解决4D世界生成难题。

Image Generation as a Visual Planner for Robotic Manipulation

图像生成作为机器人操作的视觉规划器

Ye Pang

机构 * Southern China University of Technology（华南理工大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出利用图像生成模型作为机器人视觉规划器，通过轻度微调实现时间连贯的机器人操作视频生成。

Comments 11 pages 9 figures Under review at CVPR 2026

Generating Fit Check Videos with a Handheld Camera

使用手持相机生成符合检查的视频

Bowei Chen, Brian Curless, Ira Kemelmacher-Shlizerman, Steven M. Seitz

机构 * University of Washington（华盛顿大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出了一种基于视频扩散模型的方法，利用手持设备和静态照片生成逼真的全身视频，通过多参考注意力机制和图像微调策略提升视频真实感。

Sequence-Adaptive Video Prediction in Continuous Streams using Diffusion Noise Optimization

基于扩散噪声优化的连续流序列适应视频预测

Sina Mokhtarzadeh Azar, Emad Bahrami, Enrico Pallotta, Gianpiero Francesca, Radu Timofte, Juergen Gall

机构 * University of Bonn（波恩大学） ； Toyota Motor Europe（丰田欧洲公司） ； University of Wuerzburg（乌尔姆大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所） 纠错

专题命中 视频扩散模型 ：long video(abstract)；分类 cs.CV

AI总结 本文提出了一种基于扩散噪声优化的连续流序列适应视频预测方法，通过在推理过程中细化扩散噪声以提升视频预测性能。

M2SVid: End-to-End Inpainting and Refinement for Monocular-to-Stereo Video Conversion

M2SVid：单目到立体视频转换的端到端修复与细化

Nina Shvetsova, Goutam Bhat, Prune Truong, Hilde Kuehne, Federico Tombari

机构 * Google（谷歌） ； Tuebingen AI Center/University of Tuebingen（图宾根人工智能中心/图宾根大学） ； Goethe University Frankfurt（法兰克福歌德大学） ； MPI for Informatics, Saarland Informatics Campus（信息研究所，萨尔兰信息校区） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 M2SVid通过端到端修复和细化技术，实现单目到立体视频转换，生成高质量右视图并提升效率。

Comments To be published at 3DV 2026, project webpage https://m2svid.github.io/

STCDiT: Spatio-Temporally Consistent Diffusion Transformer for High-Quality Video Super-Resolution

STCDiT：一种时空一致的扩散变换器用于高质量视频超分辨率

Junyang Chen, Jiangxin Dong, Long Sun, Yixin Yang, Jinshan Pan

机构 * School of Computer Science and Engineering, Nanjing University of Science and Technology（计算机科学与工程学院，南京理工大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 STCDiT通过结合运动感知的VAE重建和锚帧指导方法，实现了高质量视频超分辨率，提升了结构保真度和时间一致性。

Comments Project page: https://jychen9811.github.io/STCDiT_page

InstantViR: Real-Time Video Inverse Problem Solver with Distilled Diffusion Prior

InstantViR: 基于蒸馏扩散先验的实时视频逆问题求解器

Weimin Bai, Suzhe Xu, Yiwei Ren, Jinhua Hao, Ming Sun, Wenzheng Chen, He Sun

机构 * Peking University（北京大学） ； Huaqiao University（华侨大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 InstantViR通过蒸馏扩散先验实现高效实时视频重建，以35 FPS速度在NVIDIA A100 GPU上达到与基线相当的重建质量。

VividFace: High-Quality and Efficient One-Step Diffusion For Video Face Enhancement

VividFace: 高质量和高效的一步扩散用于视频面部增强

Shulian Zhang, Yong Guo, Long Peng, Ziyang Wang, Ye Chen, Wenbo Li, Xiao Zhang, Yulun Zhang, Jian Chen

机构 * South China University of Technology（华南理工大学） ； Max Planck Institute for Informatics（马克斯·普朗克研究所（信息学）） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanjing University of Science and Technology（南京理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 VividFace通过单步扩散框架和联合训练策略，高效提升视频面部增强的高质量与效率。

SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention

Jintao Zhang, Haoxu Wang, Kai Jiang, Shuo Yang, Kaiwen Zheng, Haocheng Xi, Ziteng Wang, Hongzhou Zhu, Min Zhao, Ion Stoica, Joseph E. Gonzalez, Jun Zhu, Jianfei Chen

机构 * Tsinghua University（清华大学） ； UC Berkeley（伯克利大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

CloseUpShot: Close-up Novel View Synthesis from Sparse-views via Point-conditioned Diffusion Model

Yuqi Zhang, Guanying Chen, Jiaxing Chen, Chuanyu Fu, Chuan Huang, Shuguang Cui

机构 * Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)（深圳未来网络智能研究院（FNii-深圳）） ； Chinese University of Hong Kong at Shenzhen (CUHKSZ)（香港中文大学（深圳）） ； Sun Yat-sen University（中山大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project Link: https://zyqz97.github.io/CloseUpShot/

READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation

Haotian Wang, Yuzhe Weng, Jun Du, Haoran Xu, Xiaoyan Wu, Shan He, Bing Yin, Cong Liu, Jianqing Gao, Qingfeng Liu

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project page: https://readportrait.github.io/READ/

EnerVerse: Envisioning Embodied Future Space for Robotics Manipulation

Siyuan Huang, Liliang Chen, Pengfei Zhou, Shengcong Chen, Zhengkai Jiang, Yue Hu, Yue Liao, Peng Gao, Hongsheng Li, Maoqing Yao, Guanghui Ren

机构 * SJTU（上海交通大学） ； AgiBot ； Shanghai AI Lab（上海人工智能实验室） ； CUHK MMLab（香港大学多模态实验室） ； LV-NUS Lab（南洋理工大学-立陶宛实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025. Website: https://sites.google.com/view/enerverse

RealisticDreamer: Guidance Score Distillation for Few-shot Gaussian Splatting

Ruocheng Wu, Haolan He, Yufei Wang, Zhihao Li, Bihan Wen

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory

Ying Li, Xiaobao Wei, Xiaowei Chi, Yuming Li, Zhongyu Zhao, Hao Wang, Ningning Ma, Ming Lu, Sirui Han, Shanghang Zhang

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments 7pages; 7figures; 3 tables

StereoDiff: Stereo-Diffusion Synergy for Video Depth Estimation

Haodong Li, Chen Wang, Jiahui Lei, Kostas Daniilidis, Lingjie Liu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Work done in Nov 2024, during an internship at the University of Pennsylvania. Project page: https://stereodiff.github.io/

ACT-R: Adaptive Camera Trajectories for Single View 3D Reconstruction

Yizhi Wang, Mingrui Zhao, Hao Zhang

机构 * Simon Fraser University（西蒙弗雷泽大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments 3DV 2026, Project Page: https://mingrui-zhao.github.io/ACT-R/

DOVE: Efficient One-Step Diffusion Model for Real-World Video Super-Resolution

Zheng Chen, Zichen Zou, Kewei Zhang, Xiongfei Su, Xin Yuan, Yong Guo, Yulun Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Zhiyuan College, Shanghai Jiao Tong University（上海交通大学紫阳学院） ； China Mobile Research Institute（中国移动研究院） ； Westlake University（西湖大学） ； Huawei Consumer Business Group（华为消费者业务集团） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Accepted to NeurIPS 2025. Code is available at: https://github.com/zhengchen1999/DOVE

Genie Envisioner: A Unified World Foundation Platform for Robotic Manipulation

Yue Liao, Pengfei Zhou, Siyuan Huang, Donglin Yang, Shengcong Chen, Yuxin Jiang, Yue Hu, Jingbin Cai, Si Liu, Jianlan Luo, Liliang Chen, Shuicheng Yan, Maoqing Yao, Guanghui Ren

机构 * AgiBot Genie Team（AgiBot Genie团队） ； LV-NUS Lab（LV-NUS实验室） ； BUAA（北京航空航天大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments https://genie-envisioner.github.io/

Rethinking Visual Intelligence: Insights from Video Pretraining

Pablo Acuaviva, Aram Davtyan, Mariam Hassan, Sebastian Stapf, Ahmad Rahimi, Alexandre Alahi, Paolo Favaro

机构 * Computer Vision Group, University of Bern（伯尔尼大学计算机视觉组） ； VITA Lab, EPFL（苏黎世联邦理工学院VITA实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Updated version from preprint arXiv:2506.07280 (Gen2Gen) focused on visual intelligence. This work can be considered as v2

SViM3D: Stable Video Material Diffusion for Single Image 3D Generation

Andreas Engelhardt, Mark Boss, Vikram Voleti, Chun-Han Yao, Hendrik P. A. Lensch, Varun Jampani

机构 * Stability AI ； University of Tübingen（图宾根大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Accepted by International Conference on Computer Vision (ICCV 2025). Project page: http://svim3d.aengelhardt.com

WorldSplat: Gaussian-Centric Feed-Forward 4D Scene Generation for Autonomous Driving

Ziyue Zhu, Zhanqian Wu, Zhenxin Zhu, Lijun Zhou, Haiyang Sun, Bing Wan, Kun Ma, Guang Chen, Hangjun Ye, Jin Xie, jian Yang

机构 * Nankai University（南开大学） ； Nanjing University, Suzhou（南京大学苏州校区） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

FlashWorld: High-quality 3D Scene Generation within Seconds

Xinyang Li, Tengfei Wang, Zixiao Gu, Shengchuan Zhang, Chunchao Guo, Liujuan Cao

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学） ； Tencent（腾讯） ； Yes Lab, Fudan University（复旦大学Yes实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project Page: https://imlixinyang.github.io/FlashWorld-Project-Page/