视频大模型

Interpretable Motion-Attentive Maps: Spatio-Temporally Localizing Concepts in Video Diffusion Transformers

可解释的运动注意力图：在视频扩散变换器中进行时空定位概念

Youngjun Jun, Seil Kang, Woojung Han, Seong Jae Hwang

机构 * Yonsei University（延世大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出一种可解释的运动注意力图方法，通过时空定位运动概念，提升视频扩散变换器的可解释性与定位能力。

Comments CVPR 2026

Vid2World: Crafting Video Diffusion Models to Interactive World Models

Vid2World: 构建视频扩散模型以交互式世界模型

Siqiao Huang, Jialong Wu, Qixing Zhou, Shangchen Miao, Mingsheng Long

机构 * Tsinghua University（清华大学） ； Chongqing University（重庆大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 Vid2World通过因果化视频扩散模型，提升其在交互式世界建模中的可控性和生成能力，适用于机器人操作、游戏模拟和开放世界导航等多种领域。

Comments Project page: http://knightnemo.github.io/vid2world/

QuantSparse: Comprehensively Compressing Video Diffusion Transformer with Model Quantization and Attention Sparsification

QuantSparse: 通过模型量化和注意力稀疏化全面压缩视频扩散变换器

Weilun Feng, Chuanguang Yang, Haotong Qin, Mingqiang Wu, Yuqi Li, Xiangqi Li, Zhulin An, Libo Huang, Yulun Zhang, Michele Magno, Yongjun Xu

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； ETH Zürich（苏黎世联邦理工学院） ； City College of New York, City University of New York, USA（纽约城市学院，纽约城市大学，美国） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 QuantSparse通过结合模型量化和注意力稀疏化，实现视频扩散变换器的高效压缩，提升性能并减少存储与推理时间。

Comments Accepted by ICLR 2026

LikePhys: Evaluating Intuitive Physics Understanding in Video Diffusion Models via Likelihood Preference

LikePhys: 通过似然偏好评估视频扩散模型中的直观物理理解

Jianhao Yuan, Fabio Pizzati, Francesco Pinto, Lars Kunze, Ivan Laptev, Paul Newman, Philip Torr, Daniele De Martini

机构 * University of Oxford（牛津大学） ； MBZUAI（穆斯林人工智能研究所） ； University of Chicago（芝加哥大学） ； UWE Bristol（布里斯托尔大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 LikePhys通过似然偏好评估视频扩散模型的直观物理理解，展示其与人类偏好一致，优于现有基线，并揭示模型设计和推理设置对物理理解的影响。

Comments 23 pages, 9 figures, Project Page: https://yuanjianhao508.github.io/LikePhys/

Journal ref ICLR 2026

DVD-Quant: Data-free Video Diffusion Transformers Quantization

DVD-Quant: 数据无依赖的视频扩散变换器量化

Zhiteng Li, Hanxuan Li, Junyi Wu, Kai Liu, Haotong Qin, Linghe Kong, Guihai Chen, Yulun Zhang, Xiaokang Yang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 DVD-Quant通过无数据量化框架实现视频DiT模型的高效量化，提升运行速度并保持视觉质量。

Comments Code and models will be available at https://github.com/lhxcs/DVD-Quant

Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models

帧引导：基于帧级信号的无训练引导用于视频扩散模型的可控生成

Sangwon Jang, Taekyung Ki, Jaehyeong Jo, Jaehong Yoon, Soo Ye Kim, Zhe Lin, Sung Ju Hwang

机构 * KAIST（韩国国立科学技术院） ； NTU Singapore（南洋理工大学） ； Adobe Research（Adobe研究） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 帧引导通过帧级信号实现无训练的视频生成控制，支持多种任务如关键帧引导、风格化和循环，无需训练即可生成高质量视频。

Comments ICLR 2026. Project page: https://frame-guidance-video.github.io/

UltraViCo: Breaking Extrapolation Limits in Video Diffusion Transformers

UltraViCo: 突破视频扩散变换器的 extrapolation 限制

Min Zhao, Hongzhou Zhu, Yingze Wang, Bokai Yan, Jintao Zhang, Guande He, Ling Yang, Chongxuan Li, Jun Zhu

机构 * Dept. of Comp. Sci. & Tech., BNRist Center, THU-Bosch ML Center, Tsinghua University（清华大学计算机科学与技术系，BNRist中心，THU-Bosch机器学习中心，清华大学） ； ShengShu（盛书） ； Gaoling School of Artificial Intelligence, Renmin University of China（北京理工大学人工智能学院，中国人民大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Princeton University（普林斯顿大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 UltraViCo通过抑制超出训练窗口的token注意力，突破视频扩散变换器的extrapolation限制，提升泛化能力和性能。

Comments ICLR2026. Project page: https://thu-ml.github.io/UltraViCo.github.io/

PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models

PropFly: 通过预训练视频扩散模型的实时监督学习进行传播

Wonyong Seo, Jaeho Moon, Jaehyup Lee, Soo Ye Kim, Munchurl Kim

机构 * KAIST（韩国科学技术院） ； Kyungpook National University（庆北国立大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 PropFly通过预训练视频扩散模型的实时监督学习，实现基于传播的视频编辑，无需配对数据集，提升编辑质量和一致性。

Comments The first two authors contributed equally to this work (equal contribution)

StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation

StreamDiffusionV2：动态交互视频生成的流式系统

Tianrui Feng, Zhi Li, Shuo Yang, Haocheng Xi, Muyang Li, Xiuyu Li, Lvmin Zhang, Keting Yang, Kelly Peng, Song Han, Maneesh Agrawala, Kurt Keutzer, Akio Kodaira, Chenfeng Xu

机构 * Stanford University（斯坦福大学） ； MIT（麻省理工学院） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 StreamDiffusionV2通过无训练管道和系统级优化，实现了低延迟、高效率的实时视频生成，支持灵活的去噪步骤和多GPU扩展，推动生成直播的实用化和普及。

Comments Accepted by MLSys 2026. Project Page: http://streamdiffusionv2.github.io

Adapting VACE for Real-Time Autoregressive Video Diffusion

为实时自回归视频扩散适应VACE

Ryan Fosdick

机构 * Daydream 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 VACE被适配用于实时自回归视频生成，通过调整参考帧路径以兼容因果注意力，保留固定分块大小和KV缓存，同时增加20-30%的延迟开销，但显存成本低，参考到视频的保真度下降。

Comments 10 pages, 4 figures, 7 tables

Survey of Video Diffusion Models: Foundations, Implementations, and Applications

视频扩散模型综述：基础、实现与应用

Yimu Wang, Xuye Liu, Wei Pang, Li Ma, Shuai Yuan, Paul Debevec, Ning Yu

机构 * University of Waterloo（滑铁卢大学） ； Netflix Eyeline Studios ； Duke University（杜克大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文综述视频扩散模型的基础、实现与应用，系统梳理了当前方法学体系，分析架构创新与优化策略，并探讨其在视频生成中的实际应用及与其他领域的协同作用。

Comments Accepted by TMLR

Past- and Future-Informed KV Cache Policy with Salience Estimation in Autoregressive Video Diffusion

具有显著性估计的过去和未来信息KV缓存策略在自回归视频扩散中

Hanmo Chen, Chenghao Xu, Xu Yang, Xuan Chen, Cheng Deng

机构 * Hangzhou Institute of Technology, Xidian University, Hangzhou, China（杭州理工大学，西安电子科技大学，中国杭州） ； Xidian University, Xi'an, China（西安电子科技大学，中国西安） ； Hohai University, Nanjing, China（河海大学，中国南京） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出PaFu-KV策略，通过显著性估计优化KV缓存，提升视频生成的质量与效率。

Adaptive 1D Video Diffusion Autoencoder

自适应一维视频扩散自编码器

Yao Teng, Minxuan Lin, Xian Liu, Shuai Wang, Xiao Yang, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； ByteDance Inc.（字节跳动公司） ； CUHK（香港中文大学） ； Nanjing University（南京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出了一种自适应一维视频扩散自编码器，通过改进的编码和解码机制实现更高效的视频压缩与重建。

CamPilot: Improving Camera Control in Video Diffusion Model with Efficient Camera Reward Feedback

CamPilot: 通过高效的相机奖励反馈提升视频扩散模型的相机控制

Wenhang Ge, Guibao Shen, Jiawei Feng, Luozhou Wang, Hao Lu, Xingye Tian, Xin Tao, Ying-Cong Chen

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 CamPilot通过高效的3D解码器和奖励机制提升视频扩散模型的相机控制能力

RoboTransfer: Controllable Geometry-Consistent Video Diffusion for Manipulation Policy Transfer

RoboTransfer: 可控的几何一致视频扩散用于操控策略迁移

Liu Liu, Xiaofeng Wang, Guosheng Zhao, Keyu Li, Wenkang Qin, Jiagang Zhu, Jiaxiong Qiu, Zheng Zhu, Guan Huang, Zhizhong Su

机构 * Horizon Robotics ； GigaAI ； CASIA 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 RoboTransfer通过可控的几何一致视频扩散技术，提升机器人操控策略在真实环境中的泛化能力。

Comments 20 pages, 15 figures

Bidirectional Sparse Attention for Faster Video Diffusion Training

双向稀疏注意力用于更快的视频扩散训练

Chenlu Zhan, Wen Li, Chuyu Shen, Jun Zhang, Suhui Wu, Hao Zhang

机构 * ByteDance（字节跳动） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出双向稀疏注意力框架，通过动态稀疏化查询和键值对，显著提升视频扩散模型的训练效率，同时保持生成质量。

Diffusion Knows Transparency: Repurposing Video Diffusion for Transparent Object Depth and Normal Estimation

扩散知道透明：将视频扩散用于透明物体深度和法线估计

Shaocong Xu, Songlin Wei, Qizhe Wei, Zheng Geng, Hong Li, Licheng Shen, Qianpu Sun, Shu Han, Bin Ma, Bohan Li, Chongjie Ye, Yuhang Zheng, Nan Wang, Saining Zhang, Hao Zhao

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； University of Southern California（南加州大学） ； Tsinghua University（清华大学） ； Beihang University（北航） ； Wuhan University（武汉大学） ； Shanghai Jiao Tong University（上海交通大学） ； European Institute of Innovation and Technology Ningbo（创新与技术欧洲研究所宁波） ； FNii, The Chinese University of Hong Kong, Shenzhen（FNii，香港中文大学（深圳）） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出DKT模型，利用视频扩散模型估计透明物体的深度和法线，实现零样本SOTA，提升现实和合成视频中的透明感知性能。

Comments Project Page: https://daniellli.github.io/projects/DKT/; Code: https://github.com/Daniellli/DKT; Dataset: https://huggingface.co/datasets/Daniellesry/TransPhy3D

Knot Forcing: Taming Autoregressive Video Diffusion Models for Real-time Infinite Interactive Portrait Animation

结绳强制：驯服自回归视频扩散模型以实现实时无限交互肖像动画

Steven Xiao, Xindi Zhang, Dechao Meng, Qi Wang, Peng Zhang, Bang Zhang

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里集团） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 Knot Forcing通过分块生成、时间结模块和提前运行机制，解决实时肖像动画中的时间一致性、误差累积和长期一致性问题，实现高保真、低延迟的无限交互动画。

Comments Project Page: https://humanaigc.github.io/knot_forcing_demo_page/

Learning to Refocus with Video Diffusion Models

利用视频扩散模型学习重聚焦

SaiKiran Tedla, Zhoutong Zhang, Xuaner Zhang, Shumian Xin

机构 * Adobe, USA \& York University Canada ； Adobe USA ； Adobe, USA \& York University ； Adobe 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出利用视频扩散模型实现拍摄后重聚焦，生成感知准确的焦点堆栈，提升日常摄影的聚焦编辑能力。

Comments Code and data are available at https://learn2refocus.github.io . SIGGRAPH Asia 2025, Dec. 2025

Journal ref Proceedings of the SIGGRAPH Asia 2025, pp. 1-11, 2025

Vidar: Embodied Video Diffusion Model for Generalist Manipulation

Vidar：面向通用操作的具身视频扩散模型

Yao Feng, Hengkai Tan, Xinyi Mao, Chendong Xiang, Guodong Liu, Shuhe Huang, Hang Su, Jun Zhu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 Vidar通过具身视频扩散模型和掩码逆动力学模型，实现了在不同机器人形态上的通用操作，仅需少量人类演示即可超越现有基线。

TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times

TurboDiffusion：通过100-200倍加速视频扩散模型

Jintao Zhang, Kaiwen Zheng, Kai Jiang, Haoxu Wang, Ion Stoica, Joseph E. Gonzalez, Jianfei Chen, Jun Zhu

机构 * Tsinghua University（清华大学） ； Shengshu Technology（盛舒科技） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 TurboDiffusion通过低比特注意力、步骤蒸馏和W8A8量化等技术，实现视频扩散模型100-200倍加速并保持视频质量。

V-Warper: Appearance-Consistent Video Diffusion Personalization via Value Warping

V-Warper：通过价值扭曲实现外观一致的视频扩散个性化

Hyunkoo Lee, Wooseok Jang, Jini Yang, Taehwan Kim, Sangoh Kim, Sangwon Jung, Seungryong Kim

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Korea University（韩国大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 V-Warper通过价值扭曲实现视频扩散模型的无训练粗到细个性化，提升外观一致性与生成质量。

Comments Project Page: https://cvlab-kaist.github.io/V-Warper

AutoRefiner: Improving Autoregressive Video Diffusion Models via Reflective Refinement Over the Stochastic Sampling Path

AutoRefiner: 通过在随机采样路径上的反思细化改进自回归视频扩散模型

Zhengyang Yu, Akio Hayakawa, Masato Ishii, Qingtao Yu, Takashi Shibuya, Jing Zhang, Yuki Mitsufuji

机构 * Australian National University（澳大利亚国立大学） ； Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 AutoRefiner通过路径噪声细化和反射式KV缓存改进AR-VDMs的样本保真度

BAgger: Backwards Aggregation for Mitigating Drift in Autoregressive Video Diffusion Models

BAgger: 逆向聚合用于缓解自回归视频扩散模型中的漂移

Ryan Po, Eric Ryan Chan, Changan Chen, Gordon Wetzstein

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；text-to-video(abstract)；分类 cs.CV

AI总结 BAgger通过自监督方法缓解自回归视频扩散模型中的漂移问题，利用标准分数或流匹配目标提升长期运动稳定性与视觉一致性。

Comments Project page here: https://ryanpo.com/bagger

Video Diffusion Models Excel at Tracking Similar-Looking Objects Without Supervision

视频扩散模型在无监督情况下能有效追踪相似外观的对象

Chenshuang Zhang, Kang Zhang, Joon Son Chung, In So Kweon, Junmo Kim, Chengzhi Mao

机构 * KAIST（韩国科学技术院） ； Rutgers University（罗格斯大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出利用预训练视频扩散模型的运动表示能力，实现无监督环境下对视觉相似对象的高效追踪，提升了追踪性能并克服了现有方法的局限。

Comments Accepted at NeurIPS 2025

DualCamCtrl: Dual-Branch Diffusion Model for Geometry-Aware Camera-Controlled Video Generation

DualCamCtrl: 基于双分支扩散模型的几何感知摄像机控制视频生成

Hongfei Zhang, Kanghao Chen, Zixin Zhang, Harold Haodong Chen, Yuanhuiyi Lyu, Yuqi Zhang, Shuai Yang, Kun Zhou, Yingcong Chen

机构 * HKUST (GZ)（香港科技大学） ； HKUST（香港科技大学） ； Fudan University（复旦大学） ； Shenzhen University（深圳大学） 纠错

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

AI总结 DualCamCtrl通过双分支扩散模型实现几何感知的摄像机控制视频生成，有效提升视频生成的一致性和准确性。

Learning Plug-and-play Memory for Guiding Video Diffusion Models

学习插件式记忆以指导视频扩散模型

Selena Song, Ziming Xu, Zijun Zhang, Kun Zhou, Jiaxian Guo, Lianhui Qin, Biwei Huang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； The University of Tokyo（东京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出DiT-Mem，通过学习插件式记忆增强视频扩散模型的物理规则遵循和视频保真度。

Counterfactual World Models via Digital Twin-conditioned Video Diffusion

通过数字孪生条件的视频扩散实现反事实世界模型

Yiqing Shen, Aiza Maksutova, Chenjia Li, Mathias Unberath

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 CWMDT通过构建数字孪生和应用大语言模型，实现反事实世界模型，提升对视频正向模拟的控制能力。

VIDSTAMP: A Temporally-Aware Watermark for Ownership and Integrity in Video Diffusion Models

VIDSTAMP：一种时间感知的水印用于视频扩散模型中的所有权和完整性

Mohammadreza Teymoorianfard, Siddarth Sitaraman, Shiqing Ma, Amir Houmansadr

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Brown University（布朗大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 VidStamp通过帧级信息嵌入和动态控制信号实现高容量、低感知影响的视频水印，提升视频扩散模型的版权和完整性保障能力。

ProAV-DiT: A Projected Latent Diffusion Transformer for Efficient Synchronized Audio-Video Generation

Jiahui Sun, Weining Wang, Mingzhen Sun, Yirong Yang, Xinxin Zhu, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beihang University（北航大学） 纠错

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.MM