视频大模型

SSM Meets Video Diffusion Models: Efficient Long-Term Video Generation with Structured State Spaces

结构状态空间模型与视频扩散模型的结合：利用结构状态空间实现高效长时视频生成

Yuta Oshima, Shohei Taniguchi, Masahiro Suzuki, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

专题命中 视频扩散模型 ：video generation(title,abstract)；video diffusion(title)；分类 cs.CV

AI总结 本文提出利用结构状态空间模型作为视频扩散模型的时序特征提取器，以解决传统注意力层在生成长视频序列时的计算成本问题，实验表明结构状态空间模型在内存使用和性能上更具优势。

Comments Accepted as a workshop paper at ICLR 2024

Vivid-VR: Distilling Concepts from Text-to-Video Diffusion Transformer for Photorealistic Video Restoration

Vivid-VR：基于文本到视频扩散变换器的文本概念蒸馏用于逼真视频修复

Haoran Bai, Xiaoxu Chen, Canqian Yang, Zongyao He, Sibin Deng, Ying Chen

机构 * Alibaba Group - Taobao & Tmall Group（阿里巴巴集团 - 淘宝天猫集团） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；text-to-video(title)；分类 cs.CV

AI总结 本文提出Vivid-VR，通过文本到视频基础模型生成视频修复方法，利用ControlNet控制生成过程以保持内容一致性。为解决传统微调中的分布偏移问题，提出概念蒸馏策略，通过预训练T2V模型合成带文本概念的训练样本，提升纹理和时间一致性。

Comments Accepted by ICLR 2026; ICLR version of the paper: https://openreview.net/pdf?id=YV5Zgv8pdg

LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion

LatSearch：基于潜在奖励的搜索以加速推理时间扩展在视频扩散中

Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；分类 cs.CV

AI总结 本文提出LatSearch，通过潜在奖励引导的重采样和剪枝机制，提升视频扩散的推理效率和生成质量，验证其在VBench-2.0基准上的优越性。

Comments Accepted at ECCV 2026. Project page: see https://zengqunzhao.github.io/LatSearch

Probing and Leveraging Video Diffusion Transformer Features for Robust Point Tracking

探查并利用视频扩散变换器特征以实现稳健的点跟踪

Soowon Son, Honggyu An, Jisu Nam, Hyunah Ko, Chaehyun Kim, Dahyun Chung, Siyoon Jin, Jung Yi, Junhwa Hur, Seungryong Kim

机构 * KAIST AI（韩国科学技术院人工智能） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 本文探讨了视频扩散变换器在点跟踪中的优势，提出DiTracker框架，通过整合视频DiT特征提升跟踪鲁棒性，实验证明其在挑战性场景下表现优异。

Comments Project Page: https://cvlab-kaist.github.io/DiTracker/

AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors

AHOY! 从YouTube视频中通过高斯点云和视频扩散先验构建可动画的遮挡人类

Aymen Mir, Riza Alp Guler, Xiangjun Tang, Peter Wonka, Gerard Pons-Moll

机构 * University of Tübingen（图宾根大学） ； Imperial College London（帝国理工学院） ； KAUST（阿卜杜拉国王科技大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV

AI总结 本文提出AHOY方法，通过高斯点云和视频扩散先验从真实视频中重建完整可动画3D人体，解决遮挡挑战，提出四点贡献：生成监督、两阶段架构、解耦策略、头身监督。

Comments ECCV 2026. Project page is available at https://miraymen.github.io/ahoy/

GeoEdit: Geometry-Aware Object Editing via Dual-Branch Denoising

GeoEdit: 基于几何感知的双分支去噪对象编辑

Yi He, Jiangming Wang, Xinyu Wang, Mark Fong, Songchun Zhang, Yuxuan Xue, Hai-Tao Zheng, Yue Ma

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Pengcheng Laboratory（鹏城实验室） ； Sun Yat-sen University（中山大学） ； Peking University（北京大学） ； HKUST（香港科技大学） ； University of Tübingen（图宾根大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出GeoEdit，一种无需训练的三阶段管道，通过3D解耦、点对应对齐和双分支去噪，实现单张照片中对象的刚性几何变换（平移、旋转、缩放），同时保持背景自然和身份一致性。

Comments Accepted to ECCV 2026

HorizonRelight: Relighting Long-horizon Videos Consistently via Diffusion Transformers

HorizonRelight: 通过扩散变换器一致地重照明长时域视频

Jing Yang, Mayoore Jaiswal, Zian Wang, Steven Zeng, Rochelle Pereira, Yajie Zhao, Jianyuan Min

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对长视频重照明中的时间不连续问题，提出基于扩散变换器的框架，通过掩码目标域自条件化和热启动提示实现跨块一致重照明，显著提升时间一致性。

Comments https://research.nvidia.com/labs/sil/projects/horizonrelight/

FAIL: Flow Matching Adversarial Imitation Learning for Image Generation

FAIL: 流匹配对抗模仿学习用于图像生成

Yeyao Ma, Chen Li, Xiaosong Zhang, Han Hu, Weidi Xie

机构 * Shanghai Jiao Tong University（上海交通大学） ； Xi’an Jiaotong University（西安交通大学） ； Tencent（腾讯） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出FAIL方法，通过对抗训练最小化策略-专家差异，无需显式奖励或配对比较，在图像生成中实现高效训练与泛化。

InsertAnywhere: Geometrically Grounded and Optics-Aware Video Object Insertion

InsertAnywhere：基于几何和光学的视频物体插入

Hoiyeong Jin, Hyojin Jang, Junha Hyung, Jeongho Kim, Kinam Kim, Dongjin Kim, Huijin Choi, Hyeonji Kim, Jaegul Choo

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出InsertAnywhere框架，通过4D感知遮罩生成模块实现几何准确的物体放置，并引入光学感知表示对齐策略生成逼真光学效果，结合开放的ROSE++数据集提升复杂场景下的视频物体插入效果。

Comments 16 pages, project page: https://myyzzzoooo.github.io/InsertAnywhere/

Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models

Flow-DPPO：用于流匹配模型的散度近端策略优化

Bowen Ping, Xiangxin Zhou, Penghui Qi, Minnan Luo, Liefeng Bo, Tianyu Pang

机构 * Xi’an Jiaotong University（西安交通大学） ； Tencent Hunyuan（腾讯混元） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)

AI总结 针对流匹配模型中PPO比率裁剪的结构性缺陷，提出Flow-DPPO方法，利用高斯策略的精确KL散度计算实现散度近端约束，提升奖励和训练稳定性。