视频大模型

The Devil is in the Prompts: Retrieval-Augmented Prompt Optimization for Text-to-Video Generation

Bingjie Gao, Xinyu Gao, Xiaoxue Wu, Yujie Zhou, Yu Qiao, Li Niu, Xinyuan Chen, Yaohui Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） 纠错

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

Comments accepted by CVPR2025, Project website: https://whynothaha.github.io/Prompt_optimizer/RAPO.html

Training-free Guidance in Text-to-Video Generation via Multimodal Planning and Structured Noise Initialization

Jialu Li, Shoubin Yu, Han Lin, Jaemin Cho, Jaehong Yoon, Mohit Bansal

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

Comments Website: https://video-msg.github.io; The first three authors contributed equally

WISA: World Simulator Assistant for Physics-Aware Text-to-Video Generation

Jing Wang, Ao Ma, Ke Cao, Jun Zheng, Zhanjie Zhang, Jiasong Feng, Shanyuan Liu, Yuhang Ma, Bo Cheng, Dawei Leng, Yuhui Yin, Xiaodan Liang

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

UniMLVG: Unified Framework for Multi-view Long Video Generation with Comprehensive Control Capabilities for Autonomous Driving

Rui Chen, Zehuan Wu, Yichen Liu, Yuxin Guo, Jingcheng Ni, Haifeng Xia, Siyu Xia

专题命中 视频生成 ：video generation(title,abstract)；long video(title)；分类 cs.CV

TransPixeler: Advancing Text-to-Video Generation with Transparency

Luozhou Wang, Yijun Li, Zhifei Chen, Jui-Hsien Wang, Zhifei Zhang, He Zhang, Zhe Lin, Yingcong Chen

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

Comments Project page: https://wileewang.github.io/TransPixar/

AIGV-Assessor: Benchmarking and Evaluating the Perceptual Quality of Text-to-Video Generation with LMM

Jiarui Wang, Huiyu Duan, Guangtao Zhai, Juntong Wang, Xiongkuo Min

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

TALC: Time-Aligned Captions for Multi-Scene Text-to-Video Generation

Hritik Bansal, Yonatan Bitton, Michal Yarom, Idan Szpektor, Aditya Grover, Kai-Wei Chang

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

Comments 22 pages, 14 figures, 11 tables

Enhancing Motion in Text-to-Video Generation with Decomposed Encoding and Conditioning

Penghui Ruan, Pichao Wang, Divya Saxena, Jiannong Cao, Yuhui Shi

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

Comments Accepted at NeurIPS 2024, code available at https://github.com/PR-Ryan/DEMO

MotionBooth: Motion-Aware Customized Text-to-Video Generation

Jianzong Wu, Xiangtai Li, Yanhong Zeng, Jiangning Zhang, Qianyu Zhou, Yining Li, Yunhai Tong, Kai Chen

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

Comments (NeurIPS 2024 Spotlight) Project page at https://jianzongwu.github.io/projects/motionbooth

Mobius: A High Efficient Spatial-Temporal Parallel Training Paradigm for Text-to-Video Generation Task

Yiran Yang, Jinchao Zhang, Ying Deng, Jie Zhou

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

Evaluation of Text-to-Video Generation Models: A Dynamics Perspective

Mingxiang Liao, Hannan Lu, Xinyu Zhang, Fang Wan, Tianyu Wang, Yuzhong Zhao, Wangmeng Zuo, Qixiang Ye, Jingdong Wang

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation

Weixi Feng, Jiachen Li, Michael Saxon, Tsu-jui Fu, Wenhu Chen, William Yang Wang

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title)；分类 cs.CV

Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation

Wenjing Wang, Huan Yang, Zixi Tuo, Huiguo He, Junchen Zhu, Jianlong Fu, Jiaying Liu

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title)；分类 cs.CV

MotionZero:Exploiting Motion Priors for Zero-shot Text-to-Video Generation

Sitong Su, Litao Guo, Lianli Gao, Hengtao Shen, Jingkuan Song

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation

Jay Zhangjie Wu, Yixiao Ge, Xintao Wang, Weixian Lei, Yuchao Gu, Yufei Shi, Wynne Hsu, Ying Shan, Xiaohu Qie, Mike Zheng Shou

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV

Comments Preprint

STIV: Scalable Text and Image Conditioned Video Generation

Zongyu Lin, Wei Liu, Chen Chen, Jiasen Lu, Wenze Hu, Tsu-Jui Fu, Jesse Allardice, Zhengfeng Lai, Liangchen Song, Bowen Zhang, Cha Chen, Yiran Fei, Lezhi Li, Yizhou Sun, Kai-Wei Chang, Yinfei Yang

机构 * Apple（苹果公司） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；long video(abstract)；分类 cs.CV、cs.MM

RealisMotion: Decomposed Human Motion Control and Video Generation in the World Space

Jingyun Liang, Jingkai Zhou, Shikai Li, Chenjie Cao, Lei Sun, Yichen Qian, Weihua Chen, Fan Wang

机构 * DAMO Academy, Alibaba Group（阿里达摩院） ； Hupan Lab（华盘实验室） ； INSAIT ； Zhejiang University（浙江大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV、eess.IV

Comments Project page: https://jingyunliang.github.io/RealisMotion

Optical-Flow Guided Prompt Optimization for Coherent Video Generation

Hyelin Nam, Jaemin Kim, Dohun Lee, Jong Chul Ye

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV、eess.IV

Comments CVPR 2025 (poster); project page: https://motionprompt.github.io/

VEnhancer: Generative Space-Time Enhancement for Video Generation

Jingwen He, Tianfan Xue, Dongyang Liu, Xinqi Lin, Peng Gao, Dahua Lin, Yu Qiao, Wanli Ouyang, Ziwei Liu

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV、eess.IV

Comments technical report

AMD-Hummingbird: Towards an Efficient Text-to-Video Model

Takashi Isobe, He Cui, Dong Zhou, Mengmeng Ge, Dong Li, Emad Barsoum

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(abstract)；long video(abstract)；分类 cs.CV

Comments Homepage: https://www.amd.com/en/developer/resources/technical-articles/amd-hummingbird-0-9b-text-to-video-diffusion-model-with-4-step-inferencing.html| GitHub: https://github.com/AMD-AIG-AIMA/AMD-Hummingbird-T2V

SCMAPR: Self-Correcting Multi-Agent Prompt Refinement for Complex-Scenario Text-to-Video Generation

SCMAPR: 自校正多智能体提示精修用于复杂场景文本到视频生成

Chengyi Yang, Pengzhen Li, Jiayin Qi, Aimin Zhou, Ji Wu, Ji Liu

机构 * HiThink Research（HiThink研究院） ； East China Normal University（华东师范大学） ； Guangzhou University（广州大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)

AI总结 本文提出SCMAPR框架，通过多智能体分阶段精修提升复杂场景下的文本到视频生成质量，实验表明在VBench和EvalCrafter等基准上平均得分提升显著。

VidCapBench: A Comprehensive Benchmark of Video Captioning for Controllable Text-to-Video Generation

Xinlong Chen, Yuanxing Zhang, Chongling Rao, Yushuo Guan, Jiaheng Liu, Fuzheng Zhang, Chengru Song, Qiang Liu, Di Zhang, Tieniu Tan

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（模式识别新技术实验室，自动化研究所，中国科学院（CASIA）） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Kuaishou Technology（快手科技） ； Nanjing University（南京大学） 纠错

专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)

Comments Accepted to Findings of ACL 2025

Parallel Decoding Distillation for Fast Image and Video Generation

用于快速图像和视频生成的并行解码蒸馏

Neta Shaul, Chao Liu, Arash Vahdat, Julius Berner

机构 * NVIDIA（英伟达） ； Weizmann Institute of Science（魏茨曼科学研究所） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 针对视频扩散或流模型生成计算昂贵问题，提出并行解码蒸馏方法PDD，兼容预训练模型，通过预测多去噪步骤加速生成，在多个数据集上达SOTA性能，提升视频多样性。

Ms. Forcing: Efficient Streaming Video Generation with Multi-Scale Patchification and Attention

Ms. Forcing：通过多尺度分块和注意力实现高效流视频生成

Zekun Li, Xiaoyan Cong, Hongyu Li, Zhiyang Dou, Chuan Guo, Abhay Mittal, Sizhe An, Srinath Sridhar

机构 * Brown University（布朗大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Meta 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 研究针对流视频生成中传统方法的不足，提出Ms. Forcing范式，通过多尺度分块和注意力调整空间粒度，引入均匀噪声水平DMD减少不匹配，该方法提升了效率，在单个H200 GPU上性能显著优于Rolling Forcing。

Transition Matching Distillation for Fast Video Generation

用于快速视频生成的过渡匹配蒸馏

Weili Nie, Julius Berner, Nanye Ma, Chao Liu, Saining Xie, Arash Vahdat

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 研究针对大型视频模型多步采样低效问题，提出过渡匹配蒸馏框架TMD，将扩散模型多步去噪轨迹与少步概率过渡过程匹配，分解扩散主干为组件，经实验验证TMD在速度和质量权衡上表现出色，优于现有蒸馏模型。

Journal ref Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 4645-4655

Track the Noise, Move the World:3D-Grounded Motion-Consistent Noise for Controllable Video Generation

追踪噪声，移动世界：用于可控视频生成的3D地面运动一致噪声

Long Vu, Tan Ngo, Animesh Karnewar, Amir Habibian, Binh-Son Hua, Hung Bui, Minh Hoai Nguyen, Phong Nguyen-Ha

机构 * Qualcomm AI Research（高通人工智能研究中心） ； Trinity College Dublin（都柏林三一学院） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 研究如何在视频生成中实现对物体和相机运动的精确统一控制。核心方法是构建统一框架UniCaMo，直接构造扩散模型输入噪声。主要贡献是在视频质量和运动可控性上取得先进成果，且无需对基础模型做大改动。

Comments Project Page: https://phongnhhn.info/Unicamo/

Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation

数据强制蒸馏：恢复少步视频生成中的多样性和保真度

Siyi Chen, Shaowei Liu, Yixuan Jia, Zian Wang, Huan Ling, Qing Qu, Jun Gao

机构 * University of Michigan（密歇根大学） ； NVIDIA（英伟达） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 针对分布匹配蒸馏（DMD）在少步视频生成中出现的模式坍塌和过饱和问题，提出数据强制蒸馏（DFD）框架，通过教师评分差异引导学生接近真实数据分布，仅需一行代码修改即可恢复多样性和保真度。

UniTemp: Unlocking Video Generation in Any Temporal Order via Bidirectional Distillation

UniTemp: 通过双向蒸馏实现任意时间顺序的视频生成

Lin Zhang, Sicheng Mo, Zefan Cai, Jinhong Lin, Zihao Lin, Jiuxiang Gu, Krishna Kumar Singh, Yuheng Li, Yin Li

机构 * University of Wisconsin Madison（威斯康星大学麦迪逊分校） ； Adobe Research（Adobe 研究院） ； University of California Los Angeles（加利福尼亚大学洛杉矶分校） ； University of California Davis（加利福尼亚大学戴维斯分校） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 提出UniTemp框架，通过双向蒸馏训练单个自回归模型，支持任意时间方向（前向、后向、中间插值）的视频生成，解决因果3D VAE在后向生成中的不连续性，提升可控性。

VideoWeave: Unlocking Geometric Consistency in Video Generation via Joint Geometry-Video Modeling

VideoWeave: 通过联合几何-视频建模解锁视频生成中的几何一致性

Xunzhi Xiang, Zixuan Duan, Yabo Chen, Zhengxuan Wei, Guiyu Zhang, Zixiao Gu, Zhe Gao, Haibin Huang, Chi Zhang, Qi Fan, Xuelong Li

机构 * Nanjing University（南京大学） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI）） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出VideoWeave，一种在潜在空间后训练框架，利用隐式几何模型特征约束生成分布，缓解几何重建误差，提升视频几何一致性。

TetherCache: Stabilizing Autoregressive Long-Form Video Generation with Gated Recall and Trusted Alignment

TetherCache: 基于门控召回与可信对齐的自回归长视频生成稳定性方法

Yu Meng, Xiangyang Luo, Letian Li, Wenyuan Jiang, Chen Gao, Xinlei Chen, Yong Li, Xiao-Ping Zhang

机构 * Tsinghua University（清华大学） ； D-INFK, ETH Zürich（苏黎世联邦理工学院计算机科学系） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 提出TetherCache，一种无需训练、即插即用的缓存管理策略，通过门控召回（GRAB）和可信对齐编辑（TAME）缓解自回归视频扩散模型中的上下文漂移，实现稳定长视频生成。

Comments 17 pages, 8 figures