视频大模型

Generating time-consistent dynamics with discriminator-guided image diffusion models

Philipp Hess, Maximilian Gelbrecht, Christof Schötz, Michael Aich, Yu Huang, Shangshang Yang, Niklas Boers

机构 * Technical University of Munich（慕尼黑技术大学） ； Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)

Enhanced Creativity and Ideation through Stable Video Synthesis

Elijah Miller, Thomas Dupont, Mingming Wang

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)

Comments short version (working in progress)

From Synthesis to Removal: Physics-Grounded Reflection Simulation and Diffusion-Based Video Dereflection

从合成到去除：基于物理的反射模拟与基于扩散的视频去反射

Zepeng Wang, Jiagao Hu, Fuhao Li, Yuxuan Chen, Fei Wang, Daiguo Zhou

机构 * Xiaomi Inc.（小米公司） ； MiLM Plus 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV

AI总结 该研究针对视频反射去除数据与模型缺失问题，提出闭环框架S2R，含基于物理的反射模拟、首个扩散式视频去反射模型及专用基准，实现了更优性能与更快推理。

Comments Project page: https://codingwzp.github.io/VideoDereflection_S2R

Generative Video Compression with Adaptive Score Distillation

基于自适应分数蒸馏的生成式视频压缩

Naifu Xue, Zhaoyang Jia, Haosen Li, Zihan Zheng, Jiahao Li, Bin Li, Xiaoyi Zhang, Qi Meng, Yuan Zhang, Yan Lu

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV

AI总结 研究针对视频压缩探索专门设计的扩散模型，提出GenVC，通过全局到局部层次结构恢复时空细节，用自适应分数蒸馏加速推理，在超低比特率下实现高质量重建，参数少且解码速度快。

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

眩晕眩晕：通过其预测性AI双重重建电影理想

Adam Cole, Mick Grierson

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、cs.MM

AI总结 使用仅2.78%原始帧通过视频扩散模型重建希区柯克《迷魂记》，验证生成系统编码的经典电影规范，73.1%帧可识别，3.6%严重失败。

Comments Accepted to Ars Electronica EXPANDED 2026 - Conference on Animation and Interactive Art (in cooperation with ACM SIGGRAPH), Ars Electronica Festival, Linz. 7 pages, 7 figures. Authors' version

Turing Patterns for Multimedia: Reaction-Diffusion Multi-Modal Fusion for Language-Guided Video Moment Retrieval

图灵模式用于多媒体：反应-扩散多模态融合用于语言引导的视频时刻检索

Xiang Fang, Wanlong Fang, Wei Ji, Tat-Seng Chua

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频扩散模型 ：video-language(abstract)；分类 cs.CV、cs.MM

AI总结 提出基于反应-扩散过程的多模态融合框架RDMF，通过模拟生物模式形成机制实现视频与文本的动态对齐，用于视频时刻检索与高亮检测。

Comments Published in ACM MM 2025. Address some typos

TurboTalk: Progressive Distillation for One-Step Audio-Driven Talking Avatar Generation

TurboTalk: 一步生成音频驱动的虚拟角色的渐进蒸馏

Xiangyu Liu, Feng Gao, Xiaomei Zhang, Yong Zhang, Xiaoming Wei, Zhen Lei, Xiangyu Zhu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS部） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Meituan（美团） ； The Hong Kong Polytechnic University（香港理工大学） ； CAIR, HKISI, CAS（中国科学院CAS HKISI CAIR） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出TurboTalk框架，通过分布匹配蒸馏和对抗蒸馏逐步压缩多步音频驱动视频扩散模型，实现单步生成高质量虚拟角色，推理速度提升120倍。

DiV-INR: Extreme Low-Bitrate Diffusion Video Compression with INR Conditioning

DiV-INR：基于INR条件的极端低比特率扩散视频压缩

Eren Çetin, Lucas Relic, Yuanyi Xue, Markus Gross, Christopher Schroers, Roberto Azevedo

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 eess.IV、cs.MM

AI总结 本文提出一种结合隐式神经表示与预训练视频扩散模型的视频压缩框架，旨在解决极低比特率下的压缩问题，通过INR条件引导扩散过程，提升感知质量。

EARTalking: End-to-end GPT-style Autoregressive Talking Head Synthesis with Frame-wise Control

EARTalking：端到端的GPT风格自回归说话头合成与帧级控制

Yuzhe Weng, Haotian Wang, Yuanhong Yu, Jun Du, Shan He, Xiaoyan Wu, Haoran Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； iFLYTEK ； Zhejiang University（浙江大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出EARTalking，一种端到端的GPT风格自回归模型，用于交互式音频驱动说话头生成，通过引入帧级流式生成范式和Sink Frame Window Attention机制，实现高效可控的视频生成。

MEt3R: Measuring Multi-View Consistency in Generated Images

MEt3R：测量生成图像的多视图一致性

Mohammad Asim, Christopher Wewer, Thomas Wimmer, Bernt Schiele, Jan Eric Lenssen

机构 * Max Planck Institute for Informatics（马克斯·普朗克信息研究所） ； Saarland Informatics Campus（萨尔州信息校园） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV、eess.IV

AI总结 MEt3R是一种用于评估生成图像多视图一致性的新指标，通过密集3D重建和特征比较，独立于场景和采样过程，评估生成模型的质量。

Comments Project website: https://geometric-rl.mpi-inf.mpg.de/met3r/ Updated to Camera-Ready version

EditYourself: Audio-Driven Generation and Manipulation of Talking Head Videos with Diffusion Transformers

EditYourself: 基于音频驱动的谈话头视频生成与操控的扩散变换器

John Flynn, Wolfgang Paier, Dimitar Dinev, Sam Nhut Nguyen, Hayk Poghosyan, Manuel Toribio, Sandipan Banerjee, Guy Gafni

机构 * Pipio AI ； Amazon（亚马逊） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、cs.MM

AI总结 EditYourself通过音频驱动的视频到视频编辑框架，实现基于脚本的谈话头视频修改，包括内容的添加、删除和重新定时，同时保持唇同步和时间一致性。

Comments Project page: https://edit-yourself.github.io/

Audio-Visual Cross-Modal Compression for Generative Face Video Coding

音频-视觉跨模态压缩用于生成式面部视频编码

Youmin Xu, Mengxi Guo, Shijie Zhao, Weiqi Li, Junlin Li, Li Zhang, Jian Zhang

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 eess.IV、cs.MM

AI总结 本文提出AVCC框架，通过联合压缩音频和视频流，提升生成式面部视频编码的率-失真性能。

Comments Accepted as a PAPER and for publication in the DCC 2026 proceedings

RealisVSR: Detail-enhanced Diffusion for Real-World 4K Video Super-Resolution

Weisong Zhao, Jingkai Zhou, Xiangyu Zhu, Weihua Chen, Xiao-Yu Zhang, Zhen Lei, Fan Wang

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV

FairyGen: Storied Cartoon Video from a Single Child-Drawn Character

Jiayi Zheng, Xiaodong Cun

机构 * GVC Lab, Great Bay University（Great Bay大学GVC实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、cs.MM

Comments Project Page: https://jayleejia.github.io/FairyGen/ ; Code: https://github.com/GVCLab/FairyGen

Flex3D: Feed-Forward 3D Generation with Flexible Reconstruction Model and Input View Curation

Junlin Han, Jianyuan Wang, Andrea Vedaldi, Philip Torr, Filippos Kokkinos

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV

Comments ICML 25. Project page: https://junlinhan.github.io/projects/flex3d/

DIVE: Inverting Conditional Diffusion Models for Discriminative Tasks

Yinqi Li, Hong Chang, Ruibing Hou, Shiguang Shan, Xilin Chen

机构 * Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, 100190, China, and University of Chinese Academy of Sciences, Beijing 100049, China（中国科学院信息处理重点实验室，计算技术研究所，北京，100190，中国，以及中国科学院大学，北京100049，中国） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV、cs.MM

Comments Accepted by IEEE Transactions on Multimedia

Designing Parameter and Compute Efficient Diffusion Transformers using Distillation

Vignesh Sundaresha

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV、eess.IV

Comments 4 pages

Conditional diffusion model with spatial attention and latent embedding for medical image segmentation

Behzad Hejrati, Soumyanil Banerjee, Carri Glide-Hurst, Ming Dong

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV、eess.IV

Comments 13 pages, 5 figures, 3 tables, Accepted in MICCAI 2024

SVFR: A Unified Framework for Generalized Video Face Restoration

Zhiyao Wang, Xu Chen, Chengming Xu, Junwei Zhu, Xiaobin Hu, Jiangning Zhang, Chengjie Wang, Yuqi Liu, Yiyi Zhou, Rongrong Ji

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV

Bootstrap3D: Improving Multi-view Diffusion Model with Synthetic Data

Zeyi Sun, Tong Wu, Pan Zhang, Yuhang Zang, Xiaoyi Dong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、cs.MM

Comments Project Page: https://sunzey.github.io/Bootstrap3D/

Speech2rtMRI: Speech-Guided Diffusion Model for Real-time MRI Video of the Vocal Tract during Speech

Hong Nguyen, Sean Foley, Kevin Huang, Xuan Shi, Tiantian Feng, Shrikanth Narayanan

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV

Comments 4 pages

High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model

Weizhi Zhong, Junfan Lin, Peixin Chen, Liang Lin, Guanbin Li

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV、cs.MM

Comments submitted to IEEE Transactions on Image Processing(TIP)

Interactive Generation of Laparoscopic Videos with Diffusion Models

Ivan Iliash, Simeon Allmendinger, Felix Meissen, Niklas Kühl, Daniel Rückert

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV

Comments 7 pages, 4 figures

Language Model Beats Diffusion -- Tokenizer is Key to Visual Generation

Lijun Yu, José Lezama, Nitesh B. Gundavarapu, Luca Versari, Kihyuk Sohn, David Minnen, Yong Cheng, Vighnesh Birodkar, Agrim Gupta, Xiuye Gu, Alexander G. Hauptmann, Boqing Gong, Ming-Hsuan Yang, Irfan Essa, David A. Ross, Lu Jiang

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV、cs.MM

Comments ICLR 2024

DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion

Sauradip Nag, Xiatian Zhu, Jiankang Deng, Yi-Zhe Song, Tao Xiang

专题命中 视频扩散模型 ：long video(abstract)；分类 cs.CV、cs.MM

Comments ICCV 2023; Code available at https://github.com/sauradip/DiffusionTAD

Mask-conditioned latent diffusion for generating gastrointestinal polyp images

Roman Macháček, Leila Mozaffari, Zahra Sepasdar, Sravanthi Parasa, Pål Halvorsen, Michael A. Riegler, Vajira Thambawita

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV、eess.IV

Fine-Tuning Open Video Generators for Cinematic Scene Synthesis: A Small-Data Pipeline with LoRA and Wan2.1 I2V

Meftun Akarsu, Kerem Catay, Sedat Bin Vedat, Enes Kutay Yarkan, Ilke Senturk, Arda Sar, Dafne Eksioglu

机构 * AI Yapım Hagia Labs Singapore（AI Yapım 赫亚实验室新加坡） ； AI Engineer Hagia Labs İstanbul（AI工程师 赫亚实验室伊斯坦布尔） ； Full Stack Engineer Hagia Labs İstanbul（全栈工程师 赫亚实验室伊斯坦布尔） ； Chief Creator Hagia Labs İstanbul（首席创作者 赫亚实验室伊斯坦布尔） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV；video generation(comments)

Comments video generation, image-to-video, dif- fusion transformer, LoRA, fine-tuning, cinematic scene synthesis, multi-GPU inference, fully sharded data parallelism, computational efficiency

4DAnyone: Create Anyone in 4D from a Casual Monocular Video

4DAnyone：从随意的单目视频中创建4D虚拟人物

Yudong Jin, Tao Xie, Qihang Zhang, Zehong Shen, Zhen Xu, Yujun Shen, Hujun Bao, Xiaowei Zhou, Yinghao Xu

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； Robbyant ； Chinese University of Hong Kong（香港中文大学） ； Ant Group（蚂蚁集团） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 4DAnyone是一种从单目视频重建4D人体的框架，通过RCP和TCR解决多视图一致性问题，在相关数据集上优于现有方法且泛化性好。

Comments Project page: https://4danyone.github.io

AvatarDynamizer: From Static to Dynamic Human Avatars via Generative Dynamic Textures

AvatarDynamizer：通过生成式动态纹理从静态化身到动态人类化身

Guoxing Sun, Heming Zhu, Linjie Lyu, Pascal Fua, Christian Theobalt, Marc Habermann

机构 * Max Planck Institute for Informatics（马克斯·普朗克信息学研究所） ； EPFL（洛桑联邦理工学院） ； VIA Research Center（VIA研究中心） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 AvatarDynamizer是一种生成式方法，可将现成静态3D化身转为可控多视角一致4D化身，通过纹理空间动态嵌入实现真实表面动态，在视觉保真度上优于通用方法。

Comments Project page: https://vcai.mpi-inf.mpg.de/projects/AvatarDynamizer

Stream4D: 4D-Consistency for Streaming Autoregressive Diffusion Video Models

Stream4D：面向流式自回归扩散视频模型的4D一致性

Yuanhao Ban, Jiaqi Feng, Hengguang Zhou, Xiaohuan Pei, Justin Cui, Cho-Jui Hsieh

机构 * UCLA（加州大学洛杉矶分校） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 Stream4D用显式建模场景动力学的前馈4D重建奖励替代静态评判器，结合运动先验与感知锚，提升流式自回归扩散视频模型的4D重建质量、运动保留效果及人类对齐偏好。