视频大模型

Probing and Leveraging Video Diffusion Transformer Features for Robust Point Tracking

探查并利用视频扩散变换器特征以实现稳健的点跟踪

Soowon Son, Honggyu An, Jisu Nam, Hyunah Ko, Chaehyun Kim, Dahyun Chung, Siyoon Jin, Jung Yi, Junhwa Hur, Seungryong Kim

机构 * KAIST AI（韩国科学技术院人工智能） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文探讨了视频扩散变换器在点跟踪中的优势，提出DiTracker框架，通过整合视频DiT特征提升跟踪鲁棒性，实验证明其在挑战性场景下表现优异。

Comments Project Page: https://cvlab-kaist.github.io/DiTracker/

SHIFT: Motion Alignment in Video Diffusion Models with Adversarial Hybrid Fine-Tuning

SHIFT: 视频扩散模型中的运动对齐与对抗混合微调

Xi Ye, Wenjia Yang, Yangyang Xu, Xiaoyang Liu, Duo Su, Mengfei Xia, Jun Zhu

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； University of Chinese Academy of Science（中国科学院大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对视频扩散模型微调后运动保真度下降的问题，提出基于像素通量动力学的像素运动奖励和SHIFT框架（平滑混合微调），通过对抗优势改进收敛并缓解奖励黑客，有效解决动态度坍塌。

Comments Accepted by ECCV2026

MVTrack4Gen: Multi-View Point Tracking as Geometric Supervision for 4D Video Generation

MVTrack4Gen: 多视角点跟踪作为4D视频生成的几何监督

JoungBin Lee, Jaewoo Jung, Jongmin Lee, Tongmin Kim, Hyunsung Kim, Takuya Narihira, Kazumi Fukuda, Jahyeok Koo, Jisang Han, Yuki Mitsufuji, Seungryong Kim

机构 * KAIST AI（韩国科学技术院人工智能学院） ； Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 提出MVTrack4Gen框架，利用多视角点跟踪作为几何与运动监督信号，增强仅相机条件的新视角视频扩散模型的运动一致性和几何一致性。

Comments Project Page : https://cvlab-kaist.github.io/MVTrack4Gen/

Sol Video Inference Engine: Agent-Native Full-Stack Acceleration Framework for Efficient Video Generation

Sol视频推理引擎：面向高效视频生成的智能原生全栈加速框架

Yitong Li, Junsong Chen, Haopeng Li, Haozhe Liu, Jincheng Yu, Ligeng Zhu, Ping Luo, Song Han, Enze Xie

机构 * NVIDIA Research, Efficient AI Team & Singapore Lab（英伟达研究院高效AI团队及新加坡实验室） ； NVIDIA SANA Team（英伟达SANA团队） ； Codex ； GPT-Image2 纠错

专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 提出Sol视频推理引擎，通过智能体驱动的缓存、稀疏注意力、令牌剪枝、量化和内核融合五种技术组合，针对具体模型、硬件和配置自动优化，实现视频扩散模型2倍以上加速且保持质量。

ScalingAttention: Discovering Intrinsic Sparse Attention Topology for Video Diffusion Transformers

ScalingAttention: 发现视频扩散变换器的内在稀疏注意力拓扑

Ruiliang Zhou, Xuecheng Wu, Kang He, Guangyun Han, Bin Liu, Qinqin Chen, Wende Xu, Qingjie Zhao, Chengru Song

机构 * KlingAI Research（KlingAI研究院） ； Beijing Institute of Technology（北京理工大学） ； NVIDIA（英伟达） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 提出ScalingAttention框架，通过权重编码的稀疏拓扑（WEST）和保真度感知灵敏度调优（FAST）实现训练无关的注意力稀疏化，在Wan2.1上获得最高1.90倍加速并保持高质量。

Comments 18 pages, 9 figures

Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization

Flash-GRPO：通过单步策略优化实现视频扩散的高效对齐

Xiaoxuan He, Siming Fu, Zeyue Xue, Weijie Wang, Ruizhe He, Yuming Li, Dacheng Yin, Shuai Dong, Haoyang Huang, Hongfa Wang, Nan Duan, Bohan Zhuang

机构 * Zhejiang University（浙江大学） ； Joy Future Academy（京东探索研究院） ； Independent Researcher（独立研究员） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Flash-GRPO单步训练框架，通过等时分组和时间梯度校正解决计算瓶颈，在低计算预算下实现优于全轨迹训练的对齐质量和训练效率。

Phys4D: Fine-Grained Physics-Consistent 4D Modeling from Video Diffusion

Phys4D: 从视频扩散模型实现细粒度物理一致的4D建模

Haoran Lu, Shang Wu, Songling Liu, Jianshu Zhang, Maojiang Su, Guo Ye, Chenwei Xu, Lie Lu, Pranav Maneriker, Fan Du, Manling Li, Zhaoran Wang, Han Liu

机构 * Northwestern University（西北大学） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Phys4D流水线，通过三阶段训练（伪监督预训练、物理监督微调、强化学习校正）从视频扩散模型学习物理一致的4D世界表示，显著提升细粒度时空与物理一致性。

Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention

快速自回归视频扩散与世界模型：基于时间缓存压缩与稀疏注意力

Dvir Samuel, Issar Tzachor, Matan Levy, Michael Green, Gal Chechik, Rami Ben-Ari

机构 * Hebrew University of Jerusalem（特拉维夫大学） ； Google Research（谷歌研究） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出FAST-AR框架，通过TempCache压缩KV缓存、AnnCA加速交叉注意力、AnnSA稀疏化自注意力，实现自回归视频扩散模型5-10倍加速，同时保持视觉质量并稳定GPU内存使用。

Comments Accepted to ICML 2026. Project Page: https://dvirsamuel.github.io/fast-auto-regressive-video/

SARA: Semantically Adaptive Relational Alignment for Video Diffusion Models

SARA: 语义自适应关系对齐用于视频扩散模型

Jiesong Lian, Zixiang Zhou, Ruizhe Zhong, Yuan Zhou, Qinglin Lu, Rui Wang, Long Hu, Yixue Hao, Baoru Huang

机构 * Tencent Hunyuan（腾讯文英） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出SARA方法，通过文本条件显著性引导令牌对监督，提升视频扩散模型的文本对齐和运动质量。

FG-Attn: Leveraging Fine-Grained Sparse Attention in Video Diffusion Models

FG-Attn：在视频扩散模型中利用细粒度稀疏注意力

Sankeerth Durvasula, Kavya Sreedhar, Zain Moustafa, Suraj Kothawade, Tianlei Pang, Ashish Gondimalla, Suvinay Subramanian, Narges Shahidi, Nandita Vijaykumar

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 针对视频扩散模型中注意力层计算开销大的问题，提出FG-Attn，一种低开销的细粒度稀疏注意力机制，在MxN块粒度上跳过分数计算，实现最高2.45倍加速。

Real-Time AttentionBender: Granular Interactive Network Bending of Video Diffusion Transformers

实时注意力弯曲：视频扩散变换器的粒度交互式网络弯曲

Adam Cole, Rebecca Fiebrink, Mick Grierson

机构 * Creative Computing Institute（创意计算研究所） ； University of the Arts London（伦敦艺术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出实时注意力弯曲工具，通过操纵视频扩散变换器的自注意力、交叉注意力及前馈网络，实现逐层、逐步、逐令牌的交互式生成控制，增强艺术家的创作代理与模型材料亲密性。

Comments 5 pages, 4 figures. Accepted to ACM Creativity & Cognition XAIxArts Workshop 2026

EgoPressDiff: Multimodal Video Diffusion for Egocentric UV-Domain Hand-Pressure Estimation

EgoPressDiff: 用于自我中心UV域手部压力估计的多模态视频扩散模型

Yuan Zeng, Zilue Gao, Yujia Shi, Zongqing Lu, Wenming Yang, QingMin Liao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出EgoPressDiff，一种条件视频扩散框架，通过多模态条件策略（手部姿态、3D网格顶点和深度信息）从视觉输入生成UV压力图，解决了现有方法中的量化误差和时间不一致问题，在EgoPressure数据集上实现SOTA，Volumetric IoU相对提升34%以上。

Comments Accepted to IEEE ICASSP 2026

Rein3D: Reinforced 3D Indoor Scene Generation with Panoramic Video Diffusion Models

Rein3D: 基于全景视频扩散模型的强化3D室内场景生成

Dehui Wang, Rong Wei, Yue Shi, Congsheng Xu, Shoufa Chen, Dingxiang Luo, Tianshuo Yang, Xiaokang Yang, Wei Sui, Yusen Qin, Rui Tang, Yao Mu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Manycore Tech Inc.（Manycore科技公司） ； D-Robotics ； The University of Hong Kong（香港大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Rein3D框架，结合3D高斯泼溅与视频扩散模型，通过“恢复-细化”范式从稀疏输入生成全局一致的360度室内场景，并构建PanoV2V-15K数据集，显著提升长距离相机探索效果。

The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show

物理的隐形之手：当视频扩散模型知道的比它们展示的更多

Parsa Esmati, Somjit Nath, Katja Hofmann, Derek Nowrouzezahrai, Samira Ebrahimi Kahou, Majid Mirmehdi

机构 * University of Bristol（布里斯托大学） ； McGill University（麦吉尔大学） ； Mila–Quebec AI Institute（魁北克AI研究院） ； Microsoft Research（微软研究院） ； University of Calgary（卡尔加里大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 通过逆向扩散过程探测视频扩散模型的潜在轨迹，发现物理合理性可以从扩散变换器状态中线性解码，准确率达81.27%，表明物理有意义的表示是生成式去噪的副产品。

Video-Mirai: Autoregressive Video Diffusion Models Need Foresight

Video-Mirai: 自回归视频扩散模型需要远见

Yonghao Yu, Lang Huang, Runyi Li, Zerun Wang, Toshihiko Yamasaki

机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（信息处理研究所） ； Peking University（北京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Video-Mirai训练方法，通过冻结的远见编码器从完整生成序列中提取未来信息并蒸馏到因果状态，在不改变推理过程的情况下弥合表示层面的规划差距，提升长视频生成的一致性。

Collaborative Few-Step Distillation and Low-Bit Quantization for Wan2.2 Dual-Expert Video Diffusion Models

Wan2.2双专家视频扩散模型的协同少步蒸馏与低位量化

Jinyang Du, Shenghao Jin, Ziqian Xu, Ruihao Gong, Shiqiao Gu, Yang Yong, Jinyang Guo, Xianglong Liu

机构 * IEEE ICME 2026 ； GCC Low-Bit-width Large Model Quantization Challenge（GCC 低精度大模型量化挑战） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对Wan2.2-T2V-A14B视频扩散模型，提出结合少步分布匹配蒸馏与低位量化的部署压缩流程，通过双专家去噪分支校准、敏感层保护及HiF4低位表示，在保持质量的同时降低计算开销。

Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion

Real2SAM2Real: 生成式3D缓存作为视频扩散的互补上下文

Jiayi Wu, Haoming Cai, Cornelia Fermuller, Christopher Metzler, Yiannis Aloimonos

机构 * University of Maryland（马里兰大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Real2SAM2Real框架，通过3D提升模型提取可编辑的3D缓存作为几何支架，结合软空间对齐注入和微调策略，实现视频扩散模型对相机轨迹和多实体运动的精确解耦控制。

GSV3D: Gaussian Splatting-based Geometric Distillation with Stable Video Diffusion for Single-Image 3D Object Generation

GSV3D: 基于高斯溅射的几何蒸馏与稳定视频扩散用于单图像3D物体生成

Ye Tao, Jiawei Zhang, Yahao Shi, Dongqing Zou, Bin Zhou

机构 * State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学） ； SenseTime Research（商汤科技研究院） ； PBVR 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 提出一种结合2D扩散模型隐式3D推理能力与高斯溅射几何蒸馏的方法，通过高斯溅射解码器将SV3D潜变量输出转换为显式3D表示，实现多视图一致性和高质量3D生成。

CameraNoise: Enabling Faithful Camera Control in Video Diffusion through Geometry-Flow-Guided Noise Warping

CameraNoise: 通过几何流引导的噪声扭曲实现视频扩散中的忠实相机控制

Haoyu Zhao, Jiaxi Gu, Haoran Chen, Qingping Zheng, Yeying Jin, Hongyi Yang, Junqi Cheng, Yuang Zhang, Zenghui Lu, Huan Yu, Jie Jiang, Peng Shu, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Tencent（腾讯） ； Xiamen University（厦门大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出CameraNoise方法，通过几何流引导的噪声扭曲将相机运动编码为时间一致的随机表示，实现视频扩散中忠实且几何一致的相机控制。

Comments 28 pages, 16 figures

Journal ref Proceedings of the Forty-third International Conference on Machine Learning (ICML), 2026

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

VideoMLA: 用于分钟级自回归视频扩散的低秩潜在KV缓存

Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工大学） ； fal Project（fal项目） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出VideoMLA，通过多头潜在注意力（MLA）将每头KV替换为共享低秩内容潜在和分离的3D-RoPE位置键，在视频扩散中减少92.7%的KV内存，并保持质量与吞吐量提升。

Comments Project Page: https://videomla.github.io/

DexSIM: Real-time Dexterous Simulation with Unified Causal Video Diffusion

DexSIM: 具有统一因果视频扩散的实时灵巧仿真

Adam Lee

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出DexSIM框架，通过两阶段训练（双向视频扩散和自回归滚动训练）实现实时、长时一致的灵巧操作仿真，在像素相似度、运动保真度和手部投影精度上超越基线。

Comments World Model @ ICLR 2026

Image-to-Video Diffusion: From Foundations to Open Frontiers

图像到视频扩散：从基础到开放前沿

Xianlong Wang, Wenbo Pan, Shijia Zhou, Ke Li, Yuqi Wang, Zeyu Ye, Hangtao Zhang, Leo Yu Zhang, Xiaohua Jia

机构 * IEEE Publication Technology Group（IEEE出版技术组） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文研究了图像到视频扩散生成的核心问题，通过梳理任务定义、模型架构、数据集和评估指标，提出了一种基于架构和训练范式的分类方法，并总结了四个核心设计：条件编码、时间建模、噪声先验设计和空间时间上采样，探讨了代表性应用场景和主要开放挑战。

CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL

CreFlow：稀疏奖励具身视频扩散强化学习的纠正回流

Zhenyang Ni, Yijiang Li, Ruochen Jiao, Simon Sinong Zhan, Sipeng Chen, Zhenfei Yin, Minshuo Chen, Philip Torr, Zhaoran Wang, Qi Zhu

机构 * Northwestern University（西北大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of Oxford（牛津大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出CreFlow框架，通过信用感知NFT损失和纠正回流损失提升高维视频生成性能，有效解决稀疏奖励下的具身任务执行问题。

GTA: Advancing Image-to-3D World Generation via Geometry Then Appearance Video Diffusion

GTA: 通过几何然后外观视频扩散推进图像到3D世界生成

Hanxin Zhu, Cong Wang, Peiyan Tu, Jiayi Luo, Tianyu He, Xin Jin, Zhibo Chen

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出GTA方法，通过几何先于外观的两阶段框架提升3D场景生成的结构精度和视觉质量，同时引入随机潜在shuffle策略和测试时缩放方案，实验表明其在保真度、视觉质量和几何准确性上优于现有方法。

VidSplat: Gaussian Splatting Reconstruction with Geometry-Guided Video Diffusion Priors

VidSplat：基于几何引导视频扩散先验的高斯点云重建

Jimin Tang, Wenyuan Zhang, Junsheng Zhou, Zian Huang, Kanle Shi, Shenkun Xu, Yu-Shen Liu, Zhizhong Han

机构 * School of Software, Tsinghua University（清华大学软件学院） ； Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 VidSplat通过几何引导的视频扩散先验，解决稀疏视图下3D场景重建问题，提出免训练生成框架，迭代合成新视角以恢复完整3D场景。

Comments Accepted by SIGGRAPH Conference 2026. Project Page: https://tangjm24.github.io/VidSplat

VDEGaussian: Video Diffusion Enhanced 4D Gaussian Splatting for Dynamic Urban Scenes Modeling

VDEGaussian：基于视频扩散的4D高斯点云用于动态城市场景建模

Yuru Xiao, Zihan Lin, Chao Lu, Deming Zhai, Kui Jiang, Wenbo Zhao, Wei Zhang, Junjun Jiang, Huanran Wang, Xianming Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出一种结合视频扩散的4D高斯点云方法，解决动态场景建模中快速移动物体建模难题，通过时间一致性先验和不确定性蒸馏提升新型视角合成效果。

Diffusion-APO: Trajectory-Aware Direct Preference Alignment for Video Diffusion Transformers

Diffusion-APO：基于轨迹的直接偏好对齐用于视频扩散变换器

Jingyuan Zhu, Biaolong Chen, Le Zhang, Aixi Zhang, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文提出Diffusion-APO，通过同步训练噪声与推理时的去噪路径，解决视频扩散模型与人类意图对齐的问题，采用统一的RLHF框架实现灵活的多阶段偏好对齐，提升视觉质量和指令遵循性能。

SemanticDialect: Semantic-Aware Mixed-Format Quantization for Video Diffusion Transformers

语义感知混合格式量化：用于视频扩散变换器的混合格式量化

Wonsuk Jang, Thierry Tambe

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出SemanticDialect，通过块级混合格式量化和语义感知方言分配，提升视频扩散变换器的量化效果，实验表明其在Open-Sora 2.0上接近FP16质量。

DisCa: Accelerating Video Diffusion Transformers with Distillation-Compatible Learnable Feature Caching

DisCa：通过与知识蒸馏兼容的可学习特征缓存加速视频扩散变换器

Chang Zou, Changlin Li, Yang Li, Patrol Li, Jianbing Wu, Xiao He, Songtao Liu, Zhao Zhong, Kailin Huang, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Hunyuan（腾讯文英） ； Xidian University（西安电子科技大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出一种与知识蒸馏兼容的可学习特征缓存机制，用于加速视频扩散变换器，通过轻量级可学习神经预测器提升高维特征演化过程的准确性，并采用保守的受限均值流方法实现更稳定无损的知识蒸馏，从而将加速边界推至11.8倍同时保持生成质量。

Comments 18 pages, 8 figures; cvpr2026 paper

Efficient Video Diffusion Models: Advancements and Challenges

高效视频扩散模型：进展与挑战

Shitong Shao, Lichen Bai, Pengfei Wan, James Kwok, Zeke Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文综述了高效视频扩散模型的进展与挑战，分析了四种主要范式，探讨了减少函数调用次数和降低每步开销的核心目标，并讨论了未来研究方向。