视频大模型

Not All Tokens Need 40 Steps: Heterogeneous Step Allocation in Diffusion Transformers for Efficient Video Generation

并非所有标记都需要40步：扩散变换器中的异质步分配用于高效视频生成

Ernie Chu, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出HSA算法，通过根据速度动态分配不同时间空间标记的步数预算，提升视频生成效率，实验表明在加速运行时表现优于现有方法。

Comments Project page: https://ernestchu.github.io/hsa

Attention Sparsity is Input-Stable: Training-Free Sparse Attention for Video Generation via Offline Sparsity Profiling and Online QK Co-Clustering

注意力稀疏性是输入稳定的：通过离线稀疏性分析和在线QK共聚类实现训练自由的视频生成稀疏注意力

Jiayi Luo, Jiayu Chen, Jiankun Wang, Cong Wang, Hanxin Zhu, Qingyun Sun, Chen Gao, Zhibo Chen, Jianxin Li

机构 * SKLCCSE, School of Computer Science and Engineering, Beihang University（软件学院，北京航空航天大学） ； Beihang University（北京航空航天大学） ； School of Computer Science, Peking University（北京大学计算机学院） ； the State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； BNRist, Tsinghua University（北京理工大学，清华大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出SVOO框架，通过离线层间稀疏性分析和在线双向共聚类实现训练自由的视频生成稀疏注意力，解决传统方法中层异质性和查询-键耦合问题，提升生成质量与速度的平衡。

Comments Accepted by ICML 2026

Multimodal Diffusion Transformer with Memory Bank for Scalable Long-Duration Talking Video Generation

具有内存库的多模态扩散变换器用于可扩展的长时谈话视频生成

Haojie Zhang, Zhihao Liang, Ruibo Fu, Bingyan Liu, Zhengqi Wen, Xuefei Liu, Jianhua Tao, Yaling Liang

机构 * South China University of Technology（南方科技大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学研究中心，清华大学） ； Department of Automation, BNRist, Tsinghua University（清华大学自动化系，北京信息科学研究中心） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出 LetsTalk 框架，通过多模态指导和内存库机制解决长时谈话视频生成中的质量、一致性、时间连贯性和计算效率问题，实验表明其在生成质量和效率上达到新水平。

Comments 16 pages, 25 figures

OphEdit: Training-Free Text-Guided Editing of Ophthalmic Surgical Videos

OphEdit: 无需训练的文本引导眼科手术视频编辑

Ritul Jangir, Arkya Jyoti Bagchi, Aiman Farooq, Mangalton Okram, Saurabh Seetaram Korgaonkar, Deepak Mishra

机构 * Indian Institute of Technology Jodhpur（印度理工学院贾布尔分校） ； All India Institute of Medical Sciences Delhi（全国医学科学研究所德里） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出OphEdit框架，通过确定性二阶ODE反向管道和条件分类器自由引导分支，实现无需训练的文本引导眼科手术视频编辑，保持眼部解剖结构并实现语义修改。