视频大模型

Focused Forcing: Content-Aware Per-Frame KV Selection for Efficient Autoregressive Video Diffusion

聚焦强制：面向内容的每帧KV选择用于高效的自回归视频扩散

Peiliang Cai, Evelyn Zhang, Jiacheng Liu, Hao Lin, Ruiqi Zhang, Weile Mo, Yue Ma, Shikang Zheng, Jiehang Huang, Dongrui Liu, Linfeng Zhang

机构 * SJTU（上海交通大学） ； SDU（山东大学） ； HUST（华中科技大学） ； UTokyo（东京大学） ； HKUST（香港科技大学） ； SCUT（上海大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；分类 cs.CV

AI总结 本文提出了一种无需训练的KV选择方法，通过结合注意力分数和历史帧的多样性分数，保留最相关和有区别的历史帧，从而在不牺牲质量的情况下提高自回归视频扩散的效率。

AdaptiveLoad: Towards Efficient Video Diffusion Transformer Training

AdaptiveLoad: 向高效视频扩散变换器训练迈进

Yucheng Guo, Yongjian Guo, Zhong Guan, Haoran Sun, Wen Huang, Wanting Xu, Jing Long, Shuai Di, Junwu Xiong

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Tianjin University（天津大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)

AI总结 本文提出AdaptiveLoad框架，通过双约束自适应负载平衡系统和融合LayerNorm-Modulate CUDA内核，解决视频生成模型中大规模视频扩散变换器（如DiT和MMDiT）训练中的计算不平衡问题，实验显示其在Wan 2.1世界模型上提升了计算效率和训练吞吐量。

Image-to-Video Diffusion: From Foundations to Open Frontiers

图像到视频扩散：从基础到开放前沿

Xianlong Wang, Wenbo Pan, Shijia Zhou, Ke Li, Yuqi Wang, Zeyu Ye, Hangtao Zhang, Leo Yu Zhang, Xiaohua Jia

机构 * IEEE Publication Technology Group（IEEE出版技术组） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文研究了图像到视频扩散生成的核心问题，通过梳理任务定义、模型架构、数据集和评估指标，提出了一种基于架构和训练范式的分类方法，并总结了四个核心设计：条件编码、时间建模、噪声先验设计和空间时间上采样，探讨了代表性应用场景和主要开放挑战。

Setting the Stage: Text-Driven Scene-Consistent Image Generation

设定舞台：基于文本的场景一致图像生成

Cong Xie, Che Wang, Yan Zhang, Ruiqi Yu, Han Zou, Zheng Pan, Zhenpeng Zhan

机构 * Global Business Unit, Baidu Inc.（百度公司全球业务部） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文研究了场景构建任务，通过结合参考场景图像和文本条件生成符合空间关系的演员图像，提出了一种新的数据构建管道和对应关系引导的注意力损失，以提高场景一致性和文本-图像一致性。

VideoNeuMat: Neural Material Extraction from Generative Video Models

VideoNeuMat: 从生成视频模型中提取神经材料

Bowen Xue, Saeed Hadadan, Zheng Zeng, Fabrice Rousselle, Zahra Montazeri, Milos Hasan

机构 * University of Manchester（曼彻斯特大学） ； NVIDIA（NVIDIA公司） ； University of California Santa Barbara（加州大学圣巴bara分校） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 VideoNeuMat通过两阶段流程从视频扩散模型中提取可重用的神经材料，利用可控相机和光照轨迹生成材料样本视频，并通过大型重建模型重建紧凑的神经材料，实现超越合成训练数据的现实感和多样性。

SIPO: Stabilized and Improved Preference Optimization for Aligning Diffusion Models

SIPO: 用于对齐扩散模型的人类偏好优化的稳定与改进方法

Xiaomeng Yang, Mengping Yang, Junyan Wang, Zhijian Zhou, Zhiyu Tan, Hao Li

机构 * Shanghai Science and Intelligence Institute, Shanghai, China（上海科学与智能研究所） ； Fudan University, Shanghai, China（复旦大学） ； Australian Institute for Machine Learning, The University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)

AI总结 本研究提出SIPO框架，通过时间步感知的重要性重新加权和梯度稳定技术，解决扩散模型对齐中训练不稳定和策略偏差问题，提升了对齐效果和稳定性。

Comments This version supplements with more detailed content on reasoning and proof, additional experimental results, and ablation studies