视频大模型

Long-Horizon Streaming Video Generation via Hybrid Attention with Decoupled Distillation

通过混合注意力与解耦蒸馏实现长时域流式视频生成

Ruibin Li, Tao Yang, Fangzhou Ai, Tianhe Wu, Shilei Wen, Bingyue Peng, Lei Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； ByteDance（字节跳动） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 本文提出混合强制方法，通过混合注意力设计联合优化时序信息保留与计算效率，采用轻量线性时序注意力和块稀疏注意力，实现高效稳定流式视频生成，实测在单块H100 GPU上达到29.5 FPS的实时832x480视频生成

A Systematic Post-Train Framework for Video Generation

视频生成的系统性后训练框架

Zeyue Xue, Siming Fu, Jie Huang, Shuai Lu, Haoran Li, Yijun Liu, Yuming Li, Xiaoxuan He, Mengzhao Chen, Haoyang Huang, Nan Duan, Ping Luo

机构 * The University of Hong Kong（香港大学） ； JD Explore Academy（京东探索研究院） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出系统性后训练框架，通过四个协同阶段提升视频生成的视觉质量、时间一致性和指令遵循性，同时保持预训练阶段的可控性。

Comments Tech report

SynMotion: Semantic-Visual Adaptation for Motion Customized Video Generation

SynMotion: 语义-视觉适应用于运动定制视频生成

Shuai Tan, Biao Gong, Yujie Wei, Shiwei Zhang, Zhuoxin Liu, Ke Ma, Yan Wang, Kecheng Zheng, Xing Zhu, Yujun Shen, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； Ant Group（蚂蚁集团） ； Tongyi（通义） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Huazhong University of Science and Technology（华中科技大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 SynMotion通过联合语义指导和视觉适应，解决视频生成中语义与视觉信息的平衡问题，提出双嵌入语义理解机制和参数高效运动适配器，提升运动细节和时间一致性。

Comments Project page: https://lucaria-academy.github.io/SynMotion/

Mutual Forcing: Dual-Mode Self-Evolution for Fast Autoregressive Audio-Video Character Generation

相互推动：双模式自我进化用于快速自回归音频视频生成

Yupeng Zhou, Lianghua Huang, Zhifan Wu, Jiabao Wang, Yupeng Shi, Biao Jiang, Daquan Zhou, Yu Liu, Ming-Ming Cheng, Qibin Hou

机构 * VCIP, School of Computer Science, Nankai University（南开大学计算机科学学院VCIP实验室） ； Tongyi Lab（通义实验室） ； Peking University（北京大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出Mutual Forcing框架，通过双阶段训练策略解决音频视频联合建模与快速自回归生成问题，通过共享参数实现自蒸馏，提升训练推理一致性，相比传统方法更高效且质量更优。