视频大模型

Yesnt: Are Diffusion Relighting Models Ready for Capture Stage Compositing? A Hybrid Alternative to Bridge the Gap

Yesnt:扩散重照明模型是否准备好用于捕获阶段合成？一种混合方法用于弥合差距

Elisabeth Jüttner, Janelle Pfeifer, Leona Krath, Stefan Korfhage, Hannah Dröge, Matthias B. Hullin, Markus Plack

机构 * University of Bonn（波恩大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出一种混合重照明框架，结合扩散先验与物理约束，实现更稳定的视频重照明效果。

ScenDi: 3D-to-2D Scene Diffusion Cascades for Urban Generation

ScenDi: 3D到2D场景扩散级联用于城市生成

Hanlei Guo, Jiahao Shao, Xinya Chen, Xiyang Tan, Sheng Miao, Yujun Shen, Yiyi Liao

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； The University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 ScenDi通过整合3D和2D扩散模型，解决3D城市生成中外观细节与相机可控性的平衡问题，实现高质量场景生成。

VideoMaMa: Mask-Guided Video Matting via Generative Prior

VideoMaMa: 通过生成先验进行掩码引导的视频磨皮

Sangbeom Lim, Seoung Wug Oh, Jiahui Huang, Heeji Yoon, Seungryong Kim, Joon-Young Lee

机构 * Korea University（韩国大学） ； Adobe Research（Adobe研究） ； KAIST AI（韩国科学技术院人工智能） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 VideoMaMa通过生成先验和分割提示，实现从粗糙掩码到精确磨皮的转换，并构建大规模伪标签数据集提升视频磨皮研究

Comments Project page: https://cvlab-kaist.github.io/VideoMaMa/

DyDiT++: Diffusion Transformers with Timestep and Spatial Dynamics for Efficient Visual Generation

DyDiT++: 带时间步和空间动态的扩散变换器用于高效的视觉生成

Wangbo Zhao, Yizeng Han, Jiasheng Tang, Kai Wang, Hao Luo, Yibing Song, Gao Huang, Fan Wang, Yang You

机构 * National University of Singapore（新加坡国立大学） ； DAMO Academy, Alibaba Group（阿里云达摩院） ； Hupan Lab（虎扑实验室） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 DyDiT++通过动态调整时间步和空间计算，提升视觉生成效率，减少计算成本并拓展应用范围。

Comments This paper was accepted to the IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) on January 9, 2026. arXiv admin note: substantial text overlap with arXiv:2410.03456

Forecast the Principal, Stabilize the Residual: Subspace-Aware Feature Caching for Efficient Diffusion Transformers

预测主成分，稳定残差：面向高效扩散变换器的子空间感知特征缓存

Guantao Chen, Shikang Zheng, Yuqi Lin, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Sun Yat-Sen University（中山大学） ； South China University of Technology（华南理工大学） ； Jilin University（吉林大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出SVD-Cache方法，通过子空间感知的特征缓存技术提升扩散变换器的推理效率，实现近无损效果并支持多种加速技术。

DiffBench Meets DiffAgent: End-to-End LLM-Driven Diffusion Acceleration Code Generation

DiffBench 与 DiffAgent：端到端的 LLM 驱动扩散加速代码生成

Jiajun jiao, Haowei Zhu, Puyuan Yang, Jianghui Wang, Ji Liu, Ziqiong Liu, Dong Li, Yuejian Fang, Junhai Yong, Bin Wang, Emad Barsoum

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出DiffBench和DiffAgent，通过LLM驱动的闭环流程，实现端到端的扩散模型加速代码生成，显著提升生成策略的有效性。

Comments Accepted to AAAI 2026

DreamLoop: Controllable Cinemagraph Generation from a Single Photograph

DreamLoop：从单张照片生成可控的cinemagraph

Aniruddha Mahapatra, Long Mai, Cusuh Ham, Feng Liu

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 DreamLoop通过训练视频扩散模型实现从单张照片生成可控cinemagraph，提供灵活的运动路径控制，生成高质量且符合用户意图的动画。

Comments Project Page: https://anime26398.github.io/dreamloop.github.io/

Learning Action Hierarchies via Hybrid Geometric Diffusion

通过混合几何扩散学习动作层次结构

Arjun Ramesh Kaushik, Nalini K. Ratha, Venu Govindaraju

专题命中 视频扩散模型 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出HybridTAS框架，通过混合欧几里得和双曲几何提升时间动作分割的层次结构建模能力，实验表明其在多个数据集上达到最优性能。

Comments Accepted at WACV-26

DriveExplorer: Images-Only Decoupled 4D Reconstruction with Progressive Restoration for Driving View Extrapolation

DriveExplorer: 基于图像的解耦4D重建与渐进修复用于驾驶视角外推

Yuang Jia, Jinlong Wang, Jiayi Zhao, Chunlam Li, Shunzhou Wang, Wei Gao

机构 * Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology（广东省级超高清沉浸媒体技术重点实验室） ； School of Electronic and Computer Engineering（电子与计算机工程学院） ； Shenzhen Graduate School, Peking University（北京大学深圳研究生院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 DriveExplorer通过图像解耦和渐进修复实现驾驶视角外推，利用4D高斯框架和扩散模型提升重建质量。

Controllable Human-centric Keyframe Interpolation with Generative Prior

可控的人本关键帧插值与生成先验

Zujin Guo, Size Wu, Zhongang Cai, Wei Li, Chen Change Loy

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； SenseTime Research（商汤科技研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出PoseFuse3D-KI框架，通过整合3D人体指导信号提升关键帧插值的可控性和保真度，实验表明其在PSNR和LPIPS指标上均优于现有方法。

Comments Project Page: https://gseancdat.github.io/projects/PoseFuse3D_KI

High-Fidelity and Long-Duration Human Image Animation with Diffusion Transformer

高保真长时长人类图像动画

Shen Zheng, Jiaran Cai, Yuansheng Guan, Shenneng Huang, Xingpei Ma, Junjie Cao, Hanfeng Zhao, Qiang Zhang, Shunsi Zhang, Xiao-Ping Zhang

机构 * Guangzhou Quwan Network Technology（广州 quirwan 网络技术公司） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出基于扩散变压器的框架，通过混合引导信号和位置移适应模块，实现高保真长时长人类图像动画生成。

EchoMotion: Unified Human Video and Motion Generation via Dual-Modality Diffusion Transformer

EchoMotion: 通过双模态扩散变换器实现统一的人体视频与运动生成

Yuxiao Yang, Hualian Sheng, Sijia Cai, Jing Lin, Jiahao Wang, Bing Deng, Junzhe Lu, Haoqian Wang, Jieping Ye

机构 * Tsinghua University（清华大学） ； Alibaba Group（阿里巴巴集团） ； Nanyang Technology University（南阳技术大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 EchoMotion通过双模态扩散变换器统一生成人体视频与运动，提升复杂人类动作视频的连贯性与合理性。

Comments 26 pages, 16 figures

FlashPortrait: 6x Faster Infinite Portrait Animation with Adaptive Latent Prediction

FlashPortrait: 6倍更快的无限人物动画生成

Shuyuan Tu, Yueming Pan, Yinming Huang, Xintong Han, Zhen Xing, Qi Dai, Kai Qiu, Chong Luo, Zuxuan Wu

机构 * Fudan University（复旦大学） ； Microsoft Research Asia（微软亚洲研究院） ； Xi’an Jiaotong University（西安交通大学） ； Tencent Inc.（腾讯公司） ； Tongyi Lab, Alibaba Group（阿里云通义实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 FlashPortrait通过归一化面部表情块和动态滑动窗口方案，实现6倍加速的无限长人物动画生成，保持身份一致性。

CoVAR: Co-generation of Video and Action for Robotic Manipulation via Multi-Modal Diffusion

CoVAR: 通过多模态扩散生成视频与动作用于机器人操作

Liudi Yang, Yang Bai, George Eskandar, Fengyi Shen, Mohammad Altillawi, Dong Chen, Ziyuan Liu, Abhinav Valada

机构 * University of Freiburg（弗赖堡大学） ； Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Technical University of Munich（慕尼黑技术大学） ； Huawei Heisenberg Research Center (Munich)（华为海森堡研究中心） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 CoVAR通过多模态扩散模型生成视频与动作，解决机器人操作中动作标注不足的问题，提升视频生成质量与动作精度。

Comments 9 pages, 7 figures

ConsistTalk: Intensity Controllable Temporally Consistent Talking Head Generation with Diffusion Noise Search

ConsistTalk: 可控强度的时序一致说话头生成与扩散噪声搜索

Zhenjie Liu, Jianzhang Lu, Renjie Lu, Cong Liang, Shangfei Wang

机构 * The corresponding author.（通讯作者） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 ConsistTalk通过引入光流引导时间模块、音频到强度模型和扩散噪声初始化策略，实现了可控强度和时序一致的说话头生成，有效减少闪烁并提升音频视频同步质量。

Comments AAAI26 poster

AnchorHOI: Zero-shot Generation of 4D Human-Object Interaction via Anchor-based Prior Distillation

AnchorHOI: 通过基于锚点的先验蒸馏实现零样本4D人-物交互生成

Sisi Dai, Kai Xu

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 AnchorHOI通过基于锚点的先验蒸馏策略，结合视频扩散模型提升4D人-物交互生成的多样性和泛化能力。

Comments AAAI 2026

DiffusionBrowser: Interactive Diffusion Previews via Multi-Branch Decoders

DiffusionBrowser: 通过多分支解码器实现交互式扩散预览

Susung Hong, Chongjian Ge, Zhifei Zhang, Jui-Hsien Wang

机构 * University of Washington（华盛顿大学） ； Adobe Research（Adobe研究） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 DiffusionBrowser通过多分支解码器实现交互式视频生成预览，提升生成效率与可控性。

Comments Project page: https://susunghong.github.io/DiffusionBrowser

LINA: Learning INterventions Adaptively for Physical Alignment and Generalization in Diffusion Models

LINA: 为扩散模型中的物理对齐和泛化学习适应性干预

Shu Yu, Chaochao Lu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 LINA通过学习适应性干预，提升扩散模型在物理对齐和超出分布指令跟随方面的性能。

Generative Spatiotemporal Data Augmentation

生成性时空数据增强

Jinfan Zhou, Lixin Luo, Sungmin Eum, Heesung Kwon, Jeong Joon Park

机构 * University of Chicago（芝加哥大学） ； University of Michigan, Ann Arbor（安娜堡大学） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出利用视频扩散模型生成时空数据以增强模型性能，尤其在数据稀缺情况下提升模型表现。

FactorPortrait: Controllable Portrait Animation via Disentangled Expression, Pose, and Viewpoint

FactorPortrait: 通过解耦的表情、姿态和视角实现可控的肖像动画

Jiapeng Tang, Kai Li, Chengxiang Yin, Liuhao Ge, Fei Jiang, Jiu Xu, Matthias Nießner, Christian Häne, Timur Bagautdinov, Egor Zakharov, Peihong Guo

机构 * Meta Reality Labs（Meta现实实验室） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 FactorPortrait通过解耦表情、姿态和视角实现可控肖像动画，利用预训练编码器和3D网格跟踪生成逼真动态效果。

Comments Project page: https://tangjiapeng.github.io/FactorPortrait/

FilmWeaver: Weaving Consistent Multi-Shot Videos with Cache-Guided Autoregressive Diffusion

FilmWeaver: 通过缓存引导自回归扩散编织一致的多镜头视频

Xiangyang Luo, Qingyu Li, Xiaokun Liu, Wenyu Qin, Miao Yang, Meng Wang, Pengfei Wan, Di Zhang, Kun Gai, Shao-Lun Huang

机构 * Kling Team, Kuaishou Technology（快手科技 Kling Team） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 FilmWeaver通过缓存引导自回归扩散模型实现多镜头视频的一致性生成，支持灵活交互和多任务应用。

Comments AAAI-2026

PersonaLive! Expressive Portrait Image Animation for Live Streaming

PersonaLive! 用于直播的 expressive 人物图像动画

Zhiyuan Li, Chi-Man Pun, Chen Fang, Jue Wang, Xiaodong Cun

机构 * University of Macau（澳门大学） ； GVC Lab, Great Bay University（大湾大学GVC实验室） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 PersonaLive通过多阶段训练方法实现了实时面部动画生成，提升了效率和稳定性，达到7-22倍的速度提升。

VFMF: World Modeling by Forecasting Vision Foundation Model Features

VFMF：通过预测视觉基础模型特征进行世界建模

Gabrijel Boduljak, Yushi Lan, Christian Rupprecht, Andrea Vedaldi

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出了一种基于VFM特征的生成预测器，通过自回归流匹配在潜在空间中实现更准确的预测，提升世界建模的效率和效果。

Label-free Motion-Conditioned Diffusion Model for Cardiac Ultrasound Synthesis

无标签的运动条件化扩散模型用于心脏超声合成

Zhe Li, Hadrien Reynaud, Johanna P Müller, Bernhard Kainz

机构 * Department AIBE, FAU Erlangen-Nürnberg（AIBE部门，埃尔朗根-纽伦堡大学） ； Department of Computing, Imperial College London（计算系，伦敦帝国理工学院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出无标签的运动条件化扩散模型，通过自监督运动特征生成逼真的心脏超声视频，无需手动标注。

Comments Accepted at MICAD 2025

DirectSwap: Mask-Free Cross-Identity Training and Benchmarking for Expression-Consistent Video Head Swapping

DirectSwap: 无掩码跨身份训练与基准测试用于表情一致的视频头部交换

Yanan Wang, Shengcai Liao, Panwen Hu, Xin Li, Fan Yang, Xiaodan Liang

机构 * MBZUAI（马克斯·普朗克智能研究院） ； UAEU（阿拉伯联合酋长国大学） ； AIQ（人工智能量子研究所） ； SYSU（南方大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 DirectSwap通过无掩码直接视频头部交换框架，结合运动和表情感知重建损失，实现了跨身份视频头部交换的高质量和一致性。

H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos

H2R-Grounder：一种无需配对数据的视频到物理 grounded 机器人视频翻译范式

Hai Ci, Xiaokang Liu, Pei Yang, Yiren Song, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学显示实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 H2R-Grounder通过无需配对数据的方法，将人类交互视频转换为物理 grounded 的机器人视频，提升机器人学习的现实感和扩展性。

Comments 13 pages, 6 figures

Video Dataset Condensation with Diffusion Models

视频数据集压缩与扩散模型

Zhe Li, Hadrien Reynaud, Mischa Dombrowski, Sarah Cechnicka, Franciskus Xaverius Erick, Bernhard Kainz

机构 * Department AIBE FAU Erlangen-Nürnberg（FAU埃尔朗根-纽伦堡AIBE部门） ； Department of Computing Imperial College London（伦敦帝国理工学院计算系） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出基于扩散模型和VST-UNet的视频数据集压缩方法，结合训练免费聚类算法，有效提升视频数据集蒸馏性能，达到10.61%的性能提升。

Comments Accepted at BMVC 2025

Coefficients-Preserving Sampling for Reinforcement Learning with Flow Matching

为流匹配强化学习中的系数保持采样

Feng Wang, Zihao Yu

机构 * CreateAI 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 通过系数保持采样方法，减少流匹配强化学习中的噪声伪影，提升奖励建模精度和优化器收敛稳定性。

Comments work in progress

EVCtrl: Efficient Control Adapter for Visual Generation

EVCtrl: 用于视觉生成的高效控制适配器

Zixiang Yang, Yue Ma, Yinhan Zhang, Shanhui Mo, Dongrui Liu, Linfeng Zhang

机构 * UESTC（电子科技大学） ； HKUST（香港科技大学） ； SJTU（上海交通大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 EVCtrl通过轻量级控制适配器提升视觉生成效率，实现高效可控生成，无需重新训练模型。

DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models

DreamingComics: 通过主体和布局定制生成实现故事可视化管道

Patrick Kwon, Chen Chen

机构 * Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 DreamingComics通过结合视频模型和布局生成技术，实现了基于主体和布局定制的高效故事可视化方法，提升了角色一致性和风格相似性。