视频大模型

ScalingAttention: Discovering Intrinsic Sparse Attention Topology for Video Diffusion Transformers

ScalingAttention: 发现视频扩散变换器的内在稀疏注意力拓扑

Ruiliang Zhou, Xuecheng Wu, Kang He, Guangyun Han, Bin Liu, Qinqin Chen, Wende Xu, Qingjie Zhao, Chengru Song

机构 * KlingAI Research（KlingAI研究院） ； Beijing Institute of Technology（北京理工大学） ； NVIDIA（英伟达） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 提出ScalingAttention框架，通过权重编码的稀疏拓扑（WEST）和保真度感知灵敏度调优（FAST）实现训练无关的注意力稀疏化，在Wan2.1上获得最高1.90倍加速并保持高质量。

Comments 18 pages, 9 figures

Vera: A Layered Diffusion Model for Content-Preserving Video Editing

Vera: 一种用于内容保持视频编辑的分层扩散模型

Hongkai Zheng, Ta-Ying Cheng, Benjamin Klein, Yisong Yue, Zhuoning Yuan

机构 * California Institute of Technology（加州理工学院） ； Netflix, Inc（Netflix公司） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出Vera分层扩散框架，通过生成编辑层和alpha遮罩与源视频合成，利用混合Transformer架构和高质量分层数据集，在保持内容的同时实现高质量编辑。

Comments https://vera-layered-diffusion.github.io/

Ocean4D: Generative Underwater 4D Reconstruction via Medium-Aware Video Diffusion

Ocean4D：通过介质感知视频扩散的生成式水下4D重建

Yuqiang Huang, Yuxi Wang, Junyu Dong, Zhaoxiang Zhang

机构 * Faculty of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学部） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV

AI总结 提出Ocean4D生成式框架，通过4D几何一致性条件化和介质感知去噪扩散，解决水下动态场景中吸收与散射导致的几何不稳定和跨视角不一致问题，实现单目视频到目标轨迹的高质量4D重建。

TinyHistory: Lightweight Video History Embeddings via Two-Stage Context Learning

TinyHistory: 通过两阶段上下文学习实现轻量级视频历史嵌入

Lvmin Zhang, Shengqu Cai, Muyang Li, Chong Zeng, Beijia Lu, Anyi Rao, Song Han, Gordon Wetzstein, Maneesh Agrawala

机构 * Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； HKUST（香港科技大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出TinyHistory，通过两阶段上下文学习实现轻量级视频历史嵌入，在有限计算和内存下实现与更重模型相当的一致性。

Comments Additional Results: https://lllyasviel.github.io/TinyHistory_gitpage/

SteerVTE: Seamless Video Text Editing with Style and Glyph Control

SteerVTE: 具有风格和字形控制的无缝视频文本编辑

Kai Zeng, Moran Li, Zhengwei Wang, Yingchen Yu, Yiheng Lin, Ruichuan An, Ming Lu, Qi She, Wentao Zhang

机构 * Peking University（北京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出SteerVTE框架，通过风格编码器和双粒度字形编码器控制冻结视频扩散模型，结合字形感知空间焦点损失和三阶段渐进训练，实现精确、连贯的视频文本编辑。