视频大模型

StableAnimator++: Overcoming Pose Misalignment and Face Distortion for Human Image Animation

Shuyuan Tu, Zhen Xing, Xintong Han, Zhi-Qi Cheng, Qi Dai, Chong Luo, Zuxuan Wu, Yu-Gang Jiang

机构 * School of Computer Science, Fudan University（复旦大学计算机科学学院） ； Microsoft Research Asia（微软亚洲研究院） ； Tencent Inc.（腾讯公司） ； University of Washington（华盛顿大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments arXiv admin note: substantial text overlap with arXiv:2411.17697

DreamArt: Generating Interactable Articulated Objects from a Single Image

Ruijie Lu, Yu Liu, Jiaxiang Tang, Junfeng Ni, Yuxiang Wang, Diwen Wan, Gang Zeng, Yixin Chen, Siyuan Huang

机构 * State Key Lab of General AI, Peking University（北京大学通用人工智能国家重点实验室） ； Tsinghua University（清华大学） ； State Key Lab of General AI, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Technical Report

Driving View Synthesis on Free-form Trajectories with Generative Prior

Zeyu Yang, Zijie Pan, Yuankun Yang, Xiatian Zhu, Li Zhang

机构 * Fudan University（复旦大学） ； University of Surrey（Surrey大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments ICCV 2025

EmbodieDreamer: Advancing Real2Sim2Real Transfer for Policy Training via Embodied World Modeling

Boyuan Wang, Xinpan Meng, Xiaofeng Wang, Zheng Zhu, Angen Ye, Yang Wang, Zhiqin Yang, Chaojun Ni, Guan Huang, Xingang Wang

机构 * GigaAI ； Institute of Automation, Chinese Academy of Sciences（自动化研究所） ； Peking University（北京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project Page: https://embodiedreamer.github.io/

Playing with Transformer at 30+ FPS via Next-Frame Diffusion

Xinle Cheng, Tianyu He, Jiayi Xu, Junliang Guo, Di He, Jiang Bian

机构 * Peking University（北京大学） ； Microsoft Research（微软研究院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

Comments Project page: https://nextframed.github.io/

DreamComposer++: Empowering Diffusion Models with Multi-View Conditions for 3D Content Generation

Yunhan Yang, Shuo Chen, Yukun Huang, Xiaoyang Wu, Yuan-Chen Guo, Edmund Y. Lam, Hengshuang Zhao, Tong He, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； Tsinghua University（清华大学） ； Vast ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Accepted by TPAMI, extension of CVPR 2024 paper DreamComposer

ConceptAttention: Diffusion Transformers Learn Highly Interpretable Features

Alec Helbling, Tuna Han Salih Meral, Ben Hoover, Pinar Yanardag, Duen Horng Chau

机构 * ibm（IBM研究院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

Comments Oral Presentation at ICML 2025, Best Paper Award at CVPR Workshop on Visual Concepts

Bridging SFT and DPO for Diffusion Model Alignment with Self-Sampling Preference Optimization

Daoan Zhang, Guangchen Lan, Dong-Jun Han, Wenlin Yao, Xiaoman Pan, Hongming Zhang, Mingxiao Li, Pengcheng Chen, Yu Dong, Christopher Brinton, Jiebo Luo

机构 * University of Rochester（罗切斯特大学） ； Purdue University（普渡大学） ； Yonsei University（延世大学） ； Tencent AI Lab（腾讯AI实验室） ； University of Washington（华盛顿大学） 纠错

专题命中 视频扩散模型 ：text-to-video(abstract)；分类 cs.CV

Edit360: 2D Image Edits to 3D Assets from Any Angle

Junchao Huang, Xinting Hu, Shaoshuai Shi, Zhuotao Tian, Li Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Nanyang Technological University（南洋理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Voyager Research, Didi Chuxing（Voyager Research与滴滴出行） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments 11 pages, 9 figures

OutDreamer: Video Outpainting with a Diffusion Transformer

Linhao Zhong, Fan Li, Yi Huang, Jianzhuang Liu, Renjing Pei, Fenglong Song

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） 纠错

专题命中 视频扩散模型 ：long video(abstract)；分类 cs.CV

Video Virtual Try-on with Conditional Diffusion Transformer Inpainter

Cheng Zou, Senlin Cheng, Bolei Xu, Dandan Zheng, Xiaobo Li, Jingdong Chen, Ming Yang

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

Comments 10 pages, 6 figures

Consistent Zero-shot 3D Texture Synthesis Using Geometry-aware Diffusion and Temporal Video Models

Donggoo Kang, Jangyeong Kim, Dasol Jeong, Junyoung Choi, Jeonga Wi, Hyunmin Lee, Joonho Gwon, Joonki Paik

机构 * Department of Image, Chung-Ang University（Chung-Ang大学图像系） ； Graphics AI Lab, NCSOFT（NCSOFT图形AI实验室） ； Department of Computer Science, University of Seoul（首尔大学计算机科学系） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models

Zehuan Huang, Haoran Feng, Yangtian Sun, Yuanchen Guo, Yanpei Cao, Lu Sheng

机构 * Beihang University（北航） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project page: https://anima-x.github.io/

CoCo4D: Comprehensive and Complex 4D Scene Generation

Junwei Zhou, Xueting Li, Lu Qi, Ming-Hsuan Yang

机构 * Huazhong University of Science and Technology（华中科技大学） ； NVIDIA ； Wuhan University（武汉大学） ； Insta360 Research（Insta360研究院） ； UC Merced（加州大学默塞德分校） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments 16 pages,10 figures

Genesis: Multimodal Driving Scene Generation with Spatio-Temporal and Cross-Modal Consistency

Xiangyu Guo, Zhanqian Wu, Kaixin Xiong, Ziyang Xu, Lijun Zhou, Gangwei Xu, Shaoqing Xu, Haiyang Sun, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xiaomi EV（小米电动车） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting

Kai He, Ruofan Liang, Jacob Munkberg, Jon Hasselgren, Nandita Vijaykumar, Alexander Keller, Sanja Fidler, Igor Gilitschenski, Zan Gojcic, Zian Wang

机构 * NVIDIA ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project page: https://research.nvidia.com/labs/toronto-ai/UniRelight/

VideoPDE: Unified Generative PDE Solving via Video Inpainting Diffusion Models

Edward Li, Zichen Wang, Jiahe Huang, Jeong Joon Park

机构 * University of Michigan（密歇根大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project page: https://videopde.github.io/

LiftVSR: Lifting Image Diffusion to Video Super-Resolution via Hybrid Temporal Modeling with Only 4$\times$RTX 4090s

Xijun Wang, Xin Li, Bingchen Li, Zhibo Chen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频扩散模型 ：long video(abstract)；分类 cs.CV

Comments Project page: https://kopperx.github.io/projects/liftvsr

How Much To Guide: Revisiting Adaptive Guidance in Classifier-Free Guidance Text-to-Vision Diffusion Models

Huixuan Zhang, Junzhe Zhang, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王玄计算技术研究所） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

Dynamic View Synthesis as an Inverse Problem

Hidir Yesiltepe, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project Page: https://inverse-dvs.github.io/

Improving the Diffusability of Autoencoders

Ivan Skorokhodov, Sharath Girish, Benran Hu, Willi Menapace, Yanyu Li, Rameen Abdal, Sergey Tulyakov, Aliaksandr Siarohin

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

Comments ICML 2025

3DFlowAction: Learning Cross-Embodiment Manipulation from 3D Flow World Model

Hongyan Zhi, Peihao Chen, Siyuan Zhou, Yubo Dong, Quanxi Wu, Lei Han, Mingkui Tan

机构 * South China University of Technology（南方科技大学） ； Tencent Robotics X（腾讯机器人实验室） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Pazhou Laboratory（琶洲实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

FADE: Frequency-Aware Diffusion Model Factorization for Video Editing

Yixuan Zhu, Haolin Wang, Shilin Ma, Wenliang Zhao, Yansong Tang, Lei Chen, Jie Zhou

机构 * Department of Automation, Tsinghua University（自动化系，清华大学） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Accepted by IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2025

Chipmunk: Training-Free Acceleration of Diffusion Transformers with Dynamic Column-Sparse Deltas

Austin Silveria, Soham V. Govande, Daniel Y. Fu

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Together AI ； Stanford University（斯坦福大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

Comments 10 pages, 4 figures

AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction

Junhao Cheng, Yuying Ge, Yixiao Ge, Jing Liao, Ying Shan

机构 * ARC Lab, Tencent PCG（腾讯PCG ARC实验室） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project released at: https://howe125.github.io/AnimeGamer.github.io/

Q-VDiT: Towards Accurate Quantization and Distillation of Video-Generation Diffusion Transformers

Weilun Feng, Chuanguang Yang, Haotong Qin, Xiangqi Li, Yu Wang, Zhulin An, Libo Huang, Boyu Diao, Zixiang Zhao, Yongjun Xu, Michele Magno

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

Comments Accepted to ICML2025

Bringing Objects to Life: training-free 4D generation from 3D objects through view consistent noise

Ohad Rahamim, Ori Malca, Dvir Samuel, Gal Chechik

机构 * Bar-Ilan University（巴伊兰大学） ； NVIDIA（英伟达） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Long-Context State-Space Video World Models

Ryan Po, Yotam Nitzan, Richard Zhang, Berlin Chen, Tri Dao, Eli Shechtman, Gordon Wetzstein, Xun Huang

机构 * Stanford University（斯坦福大学） ； Princeton University（普林斯顿大学） ； Adobe Research（Adobe研究） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

Comments Project website: https://ryanpo.com/ssm_wm

Video-GPT via Next Clip Diffusion

Shaobin Zhuang, Zhipeng Huang, Ying Zhang, Fangyikang Wang, Canmiao Fu, Binxin Yang, Chong Sun, Chen Li, Yali Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉团队） ； Zhejiang University（浙江大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences Shanghai AI Laboratory（深圳先进技术研究院、中国科学院上海人工智能实验室） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

Comments 22 pages, 12 figures, 18 tables

Grouping First, Attending Smartly: Training-Free Acceleration for Diffusion Transformers

Sucheng Ren, Qihang Yu, Ju He, Alan Yuille, Liang-Chieh Chen

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

Comments Project website at oliverrensu.github.io/project/GRAT