视频大模型

SIFT: Self-Imagination Fine-Tuning for Physically Plausible Motion in Video Diffusion Models

SIFT: 视频扩散模型中物理合理运动的自我想象微调

Ruoyu Wang, Jialun Liu, Huayang Huang, Haibin Huang, Jiepeng Wang, Chi Zhang, Xuelong Li, Yu Wu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI）） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对视频扩散模型生成运动物理不合理的问题，提出自我想象微调（SIFT）范式，通过从模型自身生成视频学习而非直接重建真实视频，结合运动感知判别监督和渐进式难例重放策略，提升运动解耦与物理真实性。

Comments ECCV 2026

DreamTraj: Generating 6-DoF Object Trajectories by Reading Unrendered Video Diffusion Latents

DreamTraj：通过读取未渲染视频扩散隐变量生成6自由度物体轨迹

Tongsheng Ding, Zhen Luo, Yixuan Yang, Boyu Wang, Luyang Xie, Jinyu Yang, Feng Zheng

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 DreamTraj利用含细粒度指令的MOVE数据集，从单张RGB图像和任务指令读取冻结视频扩散模型中间表示，直接解码6自由度物体轨迹，性能优于传统方法且速度提升4.6倍。

Comments 17 pages, 8 figures, 11 tables. Project page: https://whathappen0.github.io/DreamTraj/

Light Forcing: Accelerating Autoregressive Video Diffusion via Sparse Attention

轻量强制：通过稀疏注意力加速自回归视频扩散

Chengtao Lv, Yumeng Shi, Yushi Huang, Ruihao Gong, Shen Ren, Wenya Wang

机构 * Nanjing University of Posts and Telecommunications（南京邮电大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 针对自回归视频生成模型中注意力二次复杂度问题，提出首个稀疏注意力方案Light Forcing，通过块感知增长机制和分层稀疏注意力实现质量和效率提升。

Comments ICML 2026

AniCrafter: Customizing Realistic Human-Centric Animation via Avatar-Background Conditioning in Video Diffusion Models

AniCrafter：基于视频扩散模型中化身-背景条件的逼真以人为中心动画定制

Muyao Niu, Mingdeng Cao, Yifan Zhan, Qingtian Zhu, Weihang Ran, Yanhong Zeng, Xiao Sun, Zhihang Zhong, Yinqiang Zheng

机构 * The University of Tokyo（东京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本研究提出AniCrafter模型，通过在视频扩散模型中引入化身-背景条件机制，解决现有角色动画方法在开放域场景中效果受限的问题，其性能优于现有最先进方法，可生成通用且可感知遮挡的动画结果。

Comments Homepage: https://myniuuu.github.io/AniCrafter ; Codes: https://github.com/MyNiuuu/AniCrafter

WildShadowRemover: In-the-Wild Video Shadow Removal via Detail-Preserving Video Diffusion Models

WildShadowRemover：基于细节保留视频扩散模型的野外视频阴影去除方法

Jiamin Xu, Cong Wang, Zheng Dong, Chi Wang, Renshu Gu, Weiwei Xu, Gang Xu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对野外视频阴影去除难题，提出WildShadowRemover框架，通过LoRA微调适配视频扩散模型，结合细节注入、频率分解调制及Depth Anything 3深度先验，构建对应数据集，在阴影去除质量与时间一致性上优于现有方法。

ViDS: Video Diffusion Shader using 3D Face Tracking

ViDS：使用3D面部跟踪的视频扩散着色器

Wenbo Ji, Davide Davoli, Zhe Chen, Liam Schoneveld, Matthias Nießner, Jiapeng Tang

机构 * Technical University of Munich（慕尼黑工业大学） ； Toyota Motor Europe NV/SA（丰田汽车欧洲股份公司） ； Woven by Toyota（丰田编织） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 研究利用3D面部跟踪实现肖像动画，先重建3DMM网格，再用驱动视频参数动画处理，借助视频扩散模型合成动画，引入自回归扩散采样过程，相比之前方法能更精细控制表情姿势，且保留身份外观，消融研究验证了有效性。

Comments 12 pages, 6 figures, and 8 tables. Project page: https://fusheng-ji.github.io/ViDS/

MegaSlide-DiT: Memory-Centric Adaptation and Deformable Local Attention for Efficient Video Diffusion

MegaSlide-DiT：用于高效视频扩散的以内存为中心的自适应和可变形局部注意力

Jiacheng Liu, Jason Liu

机构 * Trendinsight Lab / UC San Diego（趋势洞察实验室/加州大学圣地亚哥分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 研究针对高分辨率视频扩散模型内存消耗大问题，提出MegaSlide-DiT，通过让GPU不持有模型状态及用3D-DSA取代全局注意力，降低内存和计算复杂度，实现105B DiT在单H200 GPU上的适配，为大规模视频扩散模型全参数适配提供实用路径。

HeadCast: Casting Attention Heads for Efficient Autoregressive Video Generation

HeadCast：为高效自回归视频生成分配注意力头

Jinliang Shen, Lianghao Su, Zheming Li, Kang He, ZiLiang Lai, Yanbing Jiang, Chengru Song

机构 * KlingAI Research（克林人工智能研究公司） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 研究针对自回归视频扩散模型注意力成本高的问题，提出HeadCast框架，基于预训练模型注意力头行为进行一次性分类，重组KV缓存，保留全局头，在不同分辨率下有效加速推理且保持质量，减少闪烁。

MagicPrompt: Ultra-Lightweight Prompt Tuning for Video Generation

MagicPrompt：用于视频生成的超轻量级提示调整

Yinhan Zhang, Dingwei Tan, Xianghao Kong, Yue Ma, Yeying Jin, Anyi Rao

机构 * HKUST（香港科技大学） ； HKUST(GZ)（香港科技大学（广州）） ； Tencent（腾讯） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 研究针对大规模视频扩散模型下游任务微调计算成本高的问题，提出MagicPrompt轻量级框架。采用注意力嵌入提示调整和双空间奖励反馈优化，在可训练参数不到1%时达竞争性能，显著降低训练成本。

SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation

SGMD: 得分梯度匹配蒸馏用于少步视频扩散蒸馏

Zhuguanyu Wu, Ruihao Gong, Yang Yong, Yushi Huang, Xiangyu Fan, Lei Yang, Dahua Lin, Xianglong Liu

机构 * Beihang University（北京航空航天大学） ； SenseTime Research（商汤科技研究院） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题，提出得分梯度匹配蒸馏（SGMD），通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标，实现约3倍训练加速并显著提升运动动态。

Comments ICML 2026

STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits

STARCaster：用于身份和视图感知的会说话肖像的时空自回归视频扩散

Foivos Paraperas Papantoniou, Stathis Galanakis, Rolandos Alexandros Potamias, Bernhard Kainz, Stefanos Zafeiriou

机构 * Imperial College London, UK（伦敦帝国理工学院） ； FAU Erlangen–Nürnberg, Germany（埃朗根-纽伦堡大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 研究提出STARCaster模型，通过重新思考参考和几何范式，采用组合方法及解耦学习，解决语音驱动肖像动画和动态视点控制问题，能有效泛化，超越先前方法。

Comments ICML 2026

ACID: Adaptive Caching for vIDeo generation

ACID：用于视频生成的自适应缓存

Om Agrawal, Saurabh Agarwal, Aditya Akella

机构 * UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 研究视频扩散模型推理慢问题，提出ACID自适应缓存方法，通过监测漂移信号变化动态切换阈值，无需重新训练，可插入现有缓存方法，实验证明其能显著提升推理速度且质量退化可忽略。

Comments 16 pages, 12 figures

LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting

LightCrafter：用于可控且一致的重光照的PBR条件视频扩散细化

Zixin Guo, Yehonathan Litman, Yifeng He, John Miller, Chuhan Chen, Deva Ramanan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Toronto（多伦多大学） ； Bosch Research（博世研究） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 研究视频重光照问题，提出LightCrafter混合管道，将其重表述为代理视频转换，利用PBR渲染并结合光度先验，在真实世界重光照基准上优于现有技术，还贡献合成基准及相关资源。

Comments Project page: https://www.zixinguo.me/lightcrafter

The Seriality Gap in Video Diffusion Models

视频扩散模型中的序列性差距

Jorge Diaz Chao, Konpat Preechakul, Yuxi Liu, Yutong Bai

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 研究视频扩散模型在多球动力学实验中的表现，发现其存在序列性差距，即任务所需串行计算与模型去噪循环不匹配，增加有效串行计算的方法可提升性能，还证明去噪步骤在串行推理和模拟任务上有结构障碍。

Comments Jorge Diaz Chao and Konpat Preechakul contributed equally. 24 pages, 12 figures, and 5 tables. Project page: https://seriality-gap.jdiazchao.com

LVMark: Robust Watermark for Latent Video Diffusion Models

LVMark：用于潜在视频扩散模型的鲁棒水印

Youngdong Jang, MinHyuk Jang, JaeHyeok Lee, Feng Yang, Gyeongrok Oh, Jongheon Jeong, Sangpil Kim

机构 * Department of Artificial Intelligence, Korea University, Seoul 02841, Republic of Korea（人工智能系，韩国大学，首尔02841，大韩民国） ； Google DeepMind, Mountain View, CA 94043, USA（谷歌DeepMind，山景城，加利福尼亚州94043，美国） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对视频扩散模型现有水印方法的局限，提出LVMark方法，通过学习相邻帧一致性设计新颖水印解码器，结合小波域低频分量与视频颜色特征确保解码准确，训练潜在解码器保持视觉保真，平衡视觉质量与比特精度，实现高容量鲁棒水印嵌入。

LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

LongE2V：基于视频扩散模型的长时程基于事件的视频重建、预测和帧插值

Cheng-De Fan, Chun-Wei Tuan Mu, Chen-Wei Chang, Chin-Yang Lin, Kun-Ru Wu, Yu-Chee Tseng, Yu-Lun Liu

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 研究从稀疏事件流恢复高质量视频的难题，提出LongE2V方法，利用预训练视频扩散先验，通过微调基础模型实现联合处理视频重建、预测和帧插值，在多任务上优于现有方法，有高数据效率、时间连贯性和零样本泛化能力。

Comments SIGGRAPH 2026. Project page: https://cdfan0627.github.io/LongE2V-page/

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

视频扩散模型在手部运动重建中的惊人有效性

Yuxi Wang, Chengkai Jin, Yufei Liu, Wenqi Ouyang, Tianyi Wei, Zhiwei Zeng, Siyuan Huang, Zhiqi Shen, Xingang Pan

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出ViDiHand，利用预训练视频扩散模型重建4D双手姿态，无需检测器或优化，在多个基准上显著超越现有方法。

HairWeaver: Few-Shot Photorealistic Hair Motion Synthesis with Sim-to-Real Guided Video Diffusion

HairWeaver：基于仿真到现实引导视频扩散的少样本逼真头发运动合成

Di Chang, Ji Hou, Aljaz Bozic, Assaf Neuberger, Felix Juefei-Xu, Olivier Maury, Gene Wei-Chin Lin, Tuur Stuyck, Doug Roble, Mohammad Soleymani, Stephane Grabli

机构 * Meta University of Southern California（Meta 美国南加州大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 HairWeaver旨在解决现有方法在头发运动控制上的不足，通过运动上下文LoRA和风格对齐LoRA两个模块，结合CG模拟器生成的数据集训练视频扩散主干，实现对头发运动的精细控制，生成高度逼真且具动态细节的头发动画，达到新的技术水平。

Comments Accepted by ECCV 2026. Website: https://boese0601.github.io/hairweaver/

Gen4U: Unifying Video Generation and Understanding via Diffusion

Gen4U：通过扩散统一视频生成与理解

Michael King, Aravindh Mahendran, Matthew Koichi Grimes, Fedor Kitashov, Adham Elarabawy, Pedro Velez, Maks Ovsjanikov, Viorica Pătrăucean

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 研究通过互 kNN 对齐指标揭示视频扩散模型潜在空间特性，引入 Gen4U 框架，该框架能单次前向传递重新利用生成表示，实验表明冻结的大规模视频扩散模型可作视频编码器，Gen4U 统一视频生成与理解范式且保留生成能力。

Dynamic-in-Few-Step: Unifying Dynamic Computation and Few-Step Distillation for Efficient Video Generation

动态少步长：统一动态计算与少步长蒸馏以实现高效视频生成

Yu Cheng, Siyue Yao, Zhongang Qi, Shanyan Guan, Wei Li, Fajie Yuan

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； BlueImage, vivo（蓝城图像，维沃） ； Xian Jiaotong-Liverpool University（西交利物浦大学） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 针对视频扩散模型计算成本高问题，提出将动态结构稀疏化融入蒸馏过程的加速框架，联合优化去噪步骤与模型稀疏性，引入相关策略和机制确保训练稳定，开发推理引擎，有效提升效率且保持生成质量。

Reward Lightning: Fast Video Generation via Homologous Preference Distillation

奖励闪电：通过同源偏好蒸馏实现快速视频生成

Jiaxiang Cheng, Bing Ma, Xuhua Ren, Kai Yu, Peng Zhang, Tianxiang Zheng, Qinglin Lu

机构 * Tencent Hunyuan（腾讯混元） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 研究视频扩散模型中同时进行偏好对齐和蒸馏加速的挑战，提出统一框架Reward Lightning，利用同源原理在共享表示中对齐和加速模型，介绍潜在奖励模型和同源偏好蒸馏，实验证明其有效性。

Comments Accepted by ECCV 2026

DreamShot: Personalized Storyboard Synthesis with Video Diffusion Prior

DreamShot: 基于视频扩散先验的个性化分镜合成

Junjia Huang, Binbin Yang, Pengxiang Yan, Jiyang Liu, Bin Xia, Zhao Wang, Yitong Wang, Liang Lin, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； ByteDance Intelligent Creation（字节跳动智能创作） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 DreamShot通过视频扩散先验实现可控的多镜头合成，支持文本到镜头和参考到镜头生成，提升叙事连贯性和角色一致性。

Comments Accepted by CVPR2026 as a Highlight paper

AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis

AnchorDream：将视频扩散用于具身感知机器人数据合成

Junjie Ye, Rong Xue, Basile Van Hoorick, Pavel Tokmakov, Muhammad Zubair Irshad, Yue Wang, Vitor Guizilini

机构 * Toyota Research Institute（丰田研究院） ； USC Physical Superintelligence (PSI) Lab（USC物理超智能（PSI）实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对机器人示范数据收集瓶颈，AnchorDream利用预训练视频扩散模型，通过机器人运动渲染来合成数据，无需环境建模，从少量示范生成多样高质量数据集，提升下游策略学习。

Comments Project page: https://jay-ye.github.io/AnchorDream/

OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers

OrbitQuant: 图像和视频扩散Transformer的数据无关量化

Donghyun Lee, Jitesh Chavan, Duy Nguyen, Sam Huang, Liming Jiang, Priyadarshini Panda, Timo Mertens, Saurabh Shukla

机构 * Cantina Labs（Cantina实验室） ； University of Southern California（南加州大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 提出数据无关量化方法OrbitQuant，通过归一化旋转基和Lloyd-Max码本，无需校准数据即可对扩散Transformer的权重和激活进行低比特量化，在多个模型和模态上达到最优。

QWERTY: Training-Free Motion Control via Query-Warped Video Diffusion Transformers

QWERTY: 通过查询扭曲的视频扩散变换器实现无需训练的运动控制

Kyobin Choo, Youngmin Kim, Hyunkyung Han, Geunrip Park, Chanyoung Kim, Sunyoung Jung, Seong Jae Hwang

机构 * Department of Computer Science, Yonsei University（延世大学计算机科学系） ； Department of Artificial Intelligence, Yonsei University（延世大学人工智能系） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出QWERTY框架，通过扭曲查询的语义子空间，在预训练图像到视频扩散变换器中实现无需训练的运动控制，性能接近微调方法。

Comments 37 pages, 18 figures, accepted at the European Conference on Computer Vision (ECCV) 2026

Control-DINO: Feature Space Conditioning for Controllable Image-to-Video Diffusion

Control-DINO：用于可控图像到视频扩散的特征空间条件

Edoardo A. Dominici, Thomas Deixelberger, Konstantinos Vardis, Markus Steinberger

机构 * Huawei Technologies, Switzerland（华为技术（瑞士）） ； Huawei Technologies, Austria（华为技术（奥地利）） ； Graz University of Technology, Austria（格拉茨技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Control-DINO，通过解耦外观与其他特征，实现对视频扩散模型的可控生成，提升生成渲染的可控性。

Comments ECCV 2026 - Project Page https://dedoardo.github.io/projects/control-dino/

Next-Frame Decoding for Ultra-Low-Bitrate Image Compression with Video Diffusion Priors

利用视频扩散先验的超低比特率图像压缩的下一帧解码

Yunuo Chen, Chuqin Zhou, Jiangchuan Li, Xiaoyue Ling, Bing He, Jincheng Dai, Li Song, Guo Lu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出一种超低比特率图像压缩新范式，通过定义紧凑锚帧作为中间状态，利用预训练视频扩散模型将解码转化为下一帧预测，在保持语义的同时丢弃高频细节，相比DiffC在CLIC2020上节省超50%比特率并实现5倍解码加速。

Comments Accepted by ECCV 2026

Mixture of Distributions Matters: Dynamic Sparse Attention for Efficient Video Diffusion Transformers

分布混合至关重要：面向高效视频扩散Transformer的动态稀疏注意力

Yuxi Liu, Yipeng Hu, Zekun Zhang, Kunze Jiang, Kun Yuan

机构 * Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 提出MOD-DiT框架，通过两阶段动态稀疏注意力（利用早期去噪先验和分布混合线性近似预测掩码，结合在线块掩码策略）在无需采样的情况下实现高效视频生成，显著加速并保持质量。

End-to-End Training for Autoregressive Video Diffusion via Self-Resampling

通过自重采样实现自回归视频扩散的端到端训练

Yuwei Guo, Ceyuan Yang, Hao He, Yang Zhao, Meng Wei, Zhenheng Yang, Weilin Huang, Dahua Lin

机构 * The Chinese University of Hong Kong（香港中文大学） ； ByteDance Seed（字节跳动Seed） ； ByteDance（字节跳动） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出自回归视频扩散模型的端到端训练框架Resampling Forcing，通过自重采样模拟推理错误，结合稀疏因果掩码和动态历史路由，实现长视频生成的时间一致性。

Comments Project Page: https://guoyww.github.io/projects/resampling-forcing/

GeoNVS: Geometry Grounded Video Diffusion for Novel View Synthesis

GeoNVS: 基于几何的视频扩散模型用于新视角合成

Minjun Kang, Inkyu Shin, Taeyeop Lee, Myungchul Kim, In So Kweon, Kuk-Jin Yoon

机构 * KAIST, South Korea（韩国科学技术院） ； Luma AI, USA（Luma AI（美国）） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出GeoNVS，通过高斯溅射特征适配器将扩散特征提升为3D高斯表示，增强几何保真度和相机可控性，在新视角合成任务上超越现有方法。

Comments The code will be available at https://sites.google.com/view/minjun-kang/geonvs-eccv26 (ECCV 2026)