视频大模型

Delving into Latent Spectral Biasing of Video VAEs for Superior Diffusability

深入探究视频VAE的潜在频谱偏置以实现更优的可扩散性

Shizhan Liu, Xinran Deng, Zhuoyi Yang, Jiayan Teng, Xiaotao Gu, Jie Tang

机构 * Zhipu AI, Beijing, China（智谱AI，北京，中国） ； Tsinghua University, Beijing, China（清华大学，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） 纠错

专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文通过统计分析发现视频VAE潜在空间的频谱特性对扩散训练至关重要，提出局部相关正则化和潜在掩码重建两种轻量级正则化器，实现3倍收敛加速和10%视频奖励提升。

HunyuanVideo-HOMA: Generic Human-Object Interaction in Multimodal Driven Human Animation

混元视频-HOMA：多模态驱动人体动画中的通用人机交互

Ziyao Huang, Zixiang Zhou, Juan Cao, Yifeng Ma, Yi Chen, Zejing Rao, Zhiyong Xu, Hongmei Wang, Qin Lin, Yuan Zhou, Qinglin Lu, Fan Tang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 针对人体-物体交互视频生成的局限，提出混元视频-HOMA弱条件多模态驱动框架，通过稀疏解耦运动引导等方法，将外观和运动信号编码融合，经优化训练，在弱监督下性能达先进水平，还具文本生成和物体操纵通用性。

BiWM: Advancing Open-Source Interactive Video World Models with Bidirectional Autoregression

BiWM：利用双向自回归推进开源交互式视频世界模型

Shaohao Rui, Xiaofeng Mao, Zhanyu Zhang, Peijia Lin, Yansong Zhu, Yibo Zhang, Haibin Wan, Zhangrui Zhao, Weijie Ma

机构 * LynnReal AI ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出BiWM框架，通过双向自回归范式将预训练视频骨干转化为交互式世界模型，仅需两阶段训练（微调+分布匹配蒸馏），支持多尺度模型和长程生成，优于现有因果流水线。

Self Gradient Forcing: Native Long Video Extrapolation

自梯度强制：原生长视频外推

Junhao Zhuang, Shiyi Zhang, Yuxuan Bian, Yaowei Li, Yawen Luo, Yijun Liu, Weiyang Jin, Songchun Zhang, Xianglong He, Xuying Zhang, Haoran Li, Haoyang Huang, Zeyue Xue, Nan Duan

机构 * Joy Future Academy（京东探索研究院） 纠错

专题命中 长视频与时序推理 ：long video(title)；video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 研究针对自回归视频扩散方法的历史上下文梯度差距问题，提出自梯度强制（SGF）两阶段训练策略，利用未来视频潜变量损失监督模型将上下文编码为有效因果记忆，在长视频外推实验中效果优于自强制。

Comments Project page: https://zhuang2002.github.io/SelfGradientForcing/