视频大模型

AV-DiT: Efficient Audio-Visual Diffusion Transformer for Joint Audio and Video Generation

Kai Wang, Shijian Deng, Jing Shi, Dimitrios Hatzinakos, Yapeng Tian

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion

Fangfu Liu, Hanyang Wang, Shunyu Yao, Shengjun Zhang, Jie Zhou, Yueqi Duan

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Project page: https://liuff19.github.io/Physics3D

VividPose: Advancing Stable Video Diffusion for Realistic Human Image Animation

Qilin Wang, Zhengkai Jiang, Chengming Xu, Jiangning Zhang, Yabiao Wang, Xinyi Zhang, Yun Cao, Weijian Cao, Chengjie Wang, Yanwei Fu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models

Hanwen Liang, Yuyang Yin, Dejia Xu, Hanxue Liang, Zhangyang Wang, Konstantinos N. Plataniotis, Yao Zhao, Yunchao Wei

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Project page: https://vita-group.github.io/Diffusion4D

Scaling Diffusion Mamba with Bidirectional SSMs for Efficient Image and Video Generation

Shentong Mo, Yapeng Tian

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

TimeRewind: Rewinding Time with Image-and-Events Video Diffusion

Jingxi Chen, Brandon Y. Feng, Haoming Cai, Mingyang Xie, Christopher Metzler, Cornelia Fermuller, Yiannis Aloimonos

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Project page: https://sv3d.github.io/

V3D: Video Diffusion Models are Effective 3D Generators

Zilong Chen, Yikai Wang, Feng Wang, Zhengyi Wang, Huaping Liu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Code available at https://github.com/heheyas/V3D Project page: https://heheyas.github.io/V3D/

Feature-Conditioned Cascaded Video Diffusion Models for Precise Echocardiogram Synthesis

Hadrien Reynaud, Mengyun Qiao, Mischa Dombrowski, Thomas Day, Reza Razavi, Alberto Gomez, Paul Leeson, Bernhard Kainz

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

Comments Published in MICCAI 2023 proceedings. https://link.springer.com/chapter/10.1007/978-3-031-43999-5_14

Animated Stickers: Bringing Stickers to Life with Video Diffusion

David Yan, Winnie Zhang, Luxin Zhang, Anmol Kalia, Dingkang Wang, Ankit Ramchandani, Miao Liu, Albert Pumarola, Edgar Schoenfeld, Elliot Blanchard, Krishna Narni, Yaqiao Luo, Lawrence Chen, Guan Pang, Ali Thabet, Peter Vajda, Amy Bearman, Licheng Yu

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

ViVid-1-to-3: Novel View Synthesis with Video Diffusion Models

Jeong-gi Kwak, Erqun Dong, Yuhe Jin, Hanseok Ko, Shweta Mahajan, Kwang Moo Yi

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments Project page: https://jgkwak95.github.io/ViVid-1-to-3/

VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation

Zhengxiong Luo, Dayou Chen, Yingya Zhang, Yan Huang, Liang Wang, Yujun Shen, Deli Zhao, Jingren Zhou, Tieniu Tan

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

Comments Accepted to CVPR2023

MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation

Ludan Ruan, Yiyang Ma, Huan Yang, Huiguo He, Bei Liu, Jianlong Fu, Nicholas Jing Yuan, Qin Jin, Baining Guo

专题命中 视频扩散模型 ：video generation(title,abstract)；分类 cs.CV

Comments Accepted by CVPR 2023

Flexible Diffusion Modeling of Long Videos

William Harvey, Saeid Naderiparizi, Vaden Masrani, Christian Weilbach, Frank Wood

专题命中 视频扩散模型 ：long video(title,abstract)；分类 cs.CV

Diffusion Probabilistic Modeling for Video Generation

Ruihan Yang, Prakhar Srivastava, Stephan Mandt

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

MCVD: Masked Conditional Video Diffusion for Prediction, Generation, and Interpolation

Vikram Voleti, Alexia Jolicoeur-Martineau, Christopher Pal

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

Comments NeurIPS 2022 ; 10 pages, 4 figures, 7 tables

Video Diffusion Models

Jonathan Ho, Tim Salimans, Alexey Gritsenko, William Chan, Mohammad Norouzi, David J. Fleet

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

Vlogger: Make Your Dream A Vlog

Shaobin Zhuang, Kunchang Li, Xinyuan Chen, Yaohui Wang, Ziwei Liu, Yu Qiao, Yali Wang

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV、cs.MM

Comments 16 pages, 8 figures, 11 tables

CODA: Algorithm-Hardware Co-design for Edge Video Diffusion via NMP-Enabled Compute-Cache Operator Disaggregation

CODA：通过启用NMP的计算-缓存算子分解实现边缘视频扩散的算法-硬件协同设计

Yuanpeng Zhang, YuXuan Wu, Yitong Xiao, Chenhao Xue, Yi Ren, Cong Li, Yihan Yin, Dimin Niu, Guangyu Sun

专题命中 视频扩散模型 ：video diffusion(title,abstract)

AI总结 研究在边缘设备部署视频扩散模型时速度慢的问题，提出CODA架构，通过计算-缓存算子分解，分离计算与缓存路径、重组缓存活动并利用分支独立性，实现端到端加速和能源效率提升，且保持生成质量。

Comments 15 pages, 14 figures, accepted to the 59th IEEE/ACM International Symposium on Microarchitecture (MICRO 2026)

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

Kaleido：通过利用潜在空间相关性对视频扩散变压器进行算法-硬件协同设计

Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Jiao Tong University, Shanghai Qi Zhi Institute（上海交通大学、上海颀智研究所） ； Huawei Technologies（华为技术有限公司） ； ICT, Chinese Academy of Sciences（信息科技研究所、中国科学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)

AI总结 针对视频扩散变压器计算成本高的问题，提出Kaleido算法-硬件协同设计，利用潜在空间通道级时空相关性加速操作，有轻量级重用算法，设计了加速器，实验表明其相比现有加速器有显著加速和节能效果。

Goal-Driven Reward by Video Diffusion Models for Reinforcement Learning

通过视频扩散模型实现目标驱动的奖励用于强化学习

Qi Wang, Mian Wu, Yuyang Zhang, Mingqi Yuan, Wenyao Zhang, Haoxiang You, Yunbo Wang, Xin Jin, Xiaokang Yang, Wenjun Zeng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo（宁波市空间智能与数字衍生重点实验室，东方理工高等研究院宁波数字孪生研究院，宁波） ； Zhejiang Key Laboratory of Industrial Intelligence and Digital Twin（浙江省工业智能与数字孪生重点实验室） ； Zhongguancun Academy（中关村学院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系） ； Department of Mechanical Engineering, Yale University（耶鲁大学机械工程系） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)

AI总结 本文提出利用预训练的视频扩散模型为强化学习代理提供目标驱动的奖励信号，通过视频级和帧级目标提升轨迹的连贯性和目标导向性。

Comments Accepted by CVPR 2026. Project page: https://qiwang067.github.io/genreward

Video2Act: A Dual-System Video Diffusion Policy with Robotic Spatio-Motional Modeling

Video2Act：一种双系统视频扩散策略，具有机器人空间-运动建模

Yueru Jia, Jiaming Liu, Shengbang Liu, Rui Zhou, Wanhe Yu, Yuyang Yan, Xiaowei Chi, Yandong Guo, Boxin Shi, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息处理国家重点实验室，北京大学计算机学院） ； AI 2 Robotics（AI与机器人） ； Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)

AI总结 Video2Act通过整合空间和运动感知表示，提升机器人动作学习效率，其双系统设计在仿真和现实任务中均取得显著成果。

Physics-Informed Video Diffusion For Shallow Water Equations

基于物理的视频扩散用于浅水方程

Yang Bai, George Eskandar, Ziyuan Liu, Gitta Kutyniok

专题命中 视频扩散模型 ：video diffusion(title,abstract)

AI总结 本文提出一种结合物理约束的视频扩散框架，直接在生成过程中整合物理定律，实现同时预测物理状态和真实视频，提升生成视频的物理合理性和效率。

Comments 2026 IEEE International Conference on Acoustics, Speech, and Signal Processing

Vidarc: Embodied Video Diffusion Model for Closed-loop Control

Vidarc：用于闭环控制的具身视频扩散模型

Yao Feng, Chendong Xiang, Xinyi Mao, Hengkai Tan, Zuyue Zhang, Shuhe Huang, Kaiwen Zheng, Haitian Liu, Hang Su, Jun Zhu

机构 * Dept. of Comp. Sci. and Tech., Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint ML Center, Tsinghua University（计算机科学与技术系，人工智能研究院，BNRist中心，THBI实验室，清华-博世联合机器学习中心，清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)

AI总结 Vidarc 提出了一种基于视频扩散的具身模型，通过掩码反向动力学模型实现快速准确的闭环控制，提升了现实部署中的成功率和效率。

Mitigating Compounding Error via Video Representation Regularization

通过视频表示正则化缓解复合误差

Taiye Chen, Qi Zhang, Yisen Wang

机构 * Peking University（北京大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 针对视频扩散世界模型自回归生成的复合误差问题，研究发现其与表示维度崩溃相关，提出视频表示正则化方法，在VBench指标上显著优于Diffusion Forcing，提升了长视频生成的鲁棒性。

The generator is the tracker: Multi-object tracking by painting persistent identity colours

生成器即跟踪器：通过绘制持久身份颜色进行多目标跟踪

Haiyu Yang, Miel Hostens

机构 * Cornell University（康奈尔大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；long video(abstract)；分类 cs.CV

AI总结 研究多目标跟踪问题，核心方法是用轻量级LoRA微调文本到视频扩散模型生成带持久身份颜色的视频，无需传统跟踪组件。主要贡献是在DanceTrack测试服务器上达到40.3 HOTA，有独特错误分布，颜色分配可在遮挡后重新识别身份。

FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers

FlashDecoder：基于Transformer的实时潜空间到像素流解码器

Minguk Kang, Suha Kwak

机构 * Pika Labs（皮卡实验室） ； POSTECH（浦项科技大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 研究针对实时视频生成中潜视频扩散模型解码慢、内存占用大的问题，提出FlashDecoder，一种基于Transformer的纯视频解码器，通过滚动KV缓存和顺序处理帧实现快速解码，在重建质量匹配卷积解码器的同时大幅提升速度并减少内存占用。

Comments CVPR2026

Vera: A Layered Diffusion Model for Content-Preserving Video Editing

Vera: 一种用于内容保持视频编辑的分层扩散模型

Hongkai Zheng, Ta-Ying Cheng, Benjamin Klein, Yisong Yue, Zhuoning Yuan

机构 * California Institute of Technology（加州理工学院） ； Netflix, Inc（Netflix公司） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出Vera分层扩散框架，通过生成编辑层和alpha遮罩与源视频合成，利用混合Transformer架构和高质量分层数据集，在保持内容的同时实现高质量编辑。

Comments https://vera-layered-diffusion.github.io/

Video Models Can Reason with Verifiable Rewards

视频模型可以借助可验证的奖励进行推理

Tinghui Zhu, Sheng Zhang, James Y. Huang, Selena Song, Xiaofei Wen, Yuankai Li, Hoifung Poon, Muhao Chen

机构 * University of California, Davis（加州大学戴维斯分校） ； Microsoft Research（微软研究院） ； University of Southern California（南加州大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 本文提出VideoRLVR方法，通过规则反馈优化视频扩散模型，提升可验证推理能力，在Maze、FlowFree和Sokoban任务中优于监督微调基线，证明可验证RL能推动视频模型超越感知模仿。

Comments Website: https://darthzhu.github.io/VideoRLVR-page/

Inferix: A Block-Diffusion based Next-Generation Inference Engine for World Simulation

Inferix：基于块扩散的下一代世界模拟推理引擎

Inferix Team, Tianyu Feng, Yizeng Han, Jiahao He, Yuanyu He, Xi Lin, Teng Liu, Hanfeng Lu, Jiasheng Tang, Wei Wang, Zhiyuan Wang, Jichao Wu, Mingyang Yang, Yinghao Yu, Zeyu Zhang, Bohan Zhuang

机构 * Inferix Team（Inferix 团队） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 Inferix 是一种基于块扩散的下一代推理引擎，通过优化半自回归解码过程实现沉浸式世界合成，支持交互式视频流和性能分析，结合 LV-Bench 提供高效评估。