视频大模型

BiWM: Advancing Open-Source Interactive Video World Models with Bidirectional Autoregression

BiWM：利用双向自回归推进开源交互式视频世界模型

Shaohao Rui, Xiaofeng Mao, Zhanyu Zhang, Peijia Lin, Yansong Zhu, Yibo Zhang, Haibin Wan, Zhangrui Zhao, Weijie Ma

机构 * LynnReal AI ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出BiWM框架，通过双向自回归范式将预训练视频骨干转化为交互式世界模型，仅需两阶段训练（微调+分布匹配蒸馏），支持多尺度模型和长程生成，优于现有因果流水线。

Geospatial Diffusion-based Evolution Synthesis (GeoDES) for Storm-Centered Weather Augmentation

基于地理空间扩散的风暴中心天气增强演化合成（GeoDES）

Sonia Cromp, Satya Sai Srinath Namburi GNVV, Youran Wang, Grace Kisslinger, Frederic Sala, James Booth, Allegra LeGrande

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 研究针对机器学习天气模型预测风暴结构难题，提出基于地理空间扩散的演化合成（GeoDES）模型，该模型能合成高保真天气事件，经评估在关键指标上优于先前方法，可用于测试预测模型和扩展气象数据集。

Comments 31 pages, 11 figures

AniGS: Bridging Rendering and Diffusion Prior for 3D Scene Animation

AniGS：弥合3D场景动画的渲染与扩散先验

Yen-Chi Cheng, Chen Gao, Chuhan Chen, Tuotuo Li, Rajvi Shah, Ayush Saraf, Changil Kim, Liangyan Gui, Alexander Schwing, Johannes Kopf, Hung-Yu Tseng

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Waymo（Waymo公司） ； Carnegie Mellon University（卡内基梅隆大学） ； Meta 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 AniGS旨在为3DGS重建的大型场景添加动画，用规范3DGS表示场景，借时间条件变形场建模运动，利用预训练视频扩散模型及迭代更新策略，防止静态区域运动伪影，实验证明该方法能产生自然动态和高质量新视图视频。

Comments Preprint. Project page: https://yccyenchicheng.github.io/AniGS/

Uni-AdaVD: Universal Concept Erasure for Visual Generation via Orthogonal Value Decomposition

Uni-AdaVD：通过正交值分解实现视觉生成的通用概念擦除

Qifan Zhou, Yuan Wang, Yanbin Hao, Xiang Wang, Kuien Liu, Richang Hong, Meng Wang

机构 * School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院） ； School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院） ； School of Artificial Intelligence and Data Science, University of Science and Technology of China（中国科学技术大学人工智能与数据科学学院） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 视频扩散模型 ：text-to-video(abstract)；分类 cs.CV

AI总结 针对视觉生成模型吸收不良概念问题，提出Uni-AdaVD框架，将多模态注意力值空间作为干预空间，结合正交值分解与自适应擦除移位抑制目标语义方向，实验证明其在单多概念擦除且保留非目标先验方面性能强大，为视觉生成模型提供安全机制。

Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data

Cyclone：基于未配对驱动数据的循环一致天气编辑扩散模型

Thang-Anh-Quan Nguyen, Moussab Bennehar, Luis Guillermo Roldao Jimenez, Nathan Piasco, Dzmitry Tsishkou, Laurent Caraffa, Jean-Philippe Tarel, Roland Brémond

机构 * Huawei Paris Research Center（华为巴黎研究中心） ； Gustave Eiffel University（古斯塔夫·埃菲尔大学） ； IGN-ENSG（法国国家地理信息与森林和环境信息研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对自动驾驶系统在不同天气条件下可靠感知的挑战，提出Cyclone框架，基于潜在扩散，利用循环一致约束和图像-文本模型知识，无需配对数据生成多种天气条件，实验表明其输出更优，还可提炼为视频扩散模型。

Comments Project page: https://ntaquan0125.github.io/weather-cyclone/

4D Human-Scene Reconstruction from Low-Overlap Captures

从低重叠度捕获中进行4D人体场景重建

Minhyuk Hwang, Sangmin Kim, Seunguk Do, Daneul Kim, Jaesik Park

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对现实场景中低重叠度相机的4D人体场景重建问题，提出StudioRecon方法，通过解耦背景和人体，利用视频扩散模型强化背景监督，结合跨视图关联等初始化人体，经递归增强模块避免伪影，实现了高水准新视图合成及相关应用。

Comments Accepted to SIGGRAPH Conference Papers '26. First two authors contributed equally. Project page: https://sisyphm.github.io/studiorecon-page/

PhyMAGIC: Physical Motion-Aware Generative Inference with Confidence-guided LLM

PhyMAGIC：基于置信度引导的大语言模型的物理运动感知生成推理

Siwei Meng, Yawei Luo, Ping Liu

机构 * Department of Computer Science \& Engineering, University of Nevada, Reno, USA School of Software Technology, Zhejiang University, China 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对3D内容生成中动态模型物理一致性问题，PhyMAGIC提出无需训练的框架，整合图像到视频扩散模型、大语言模型置信度引导推理及可微物理模拟器，通过迭代优化和模拟反馈生成物理一致的运动，性能优于现有方法。

Comments This work is accepted by ECCV 2026

Enhancing Video Physical Consistency via Role-aware Joint Training and Modality-decoupled Denoising

通过角色感知联合训练和模态解耦去噪增强视频物理一致性

Guangting Zheng, Haojing Chen, Hao Li, Jingtao Zhang, Zhen Yang, Xiaosong Jia, Xue Yang, Shaofeng Zhang, Yanyong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Fudan University（复旦大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 研究针对视频扩散模型长程物理一致性挑战，提出VPT微调框架。通过角色感知信号清晰建模不同物理角色，采用模态解耦去噪策略及损失权重衰减，引入跨步自动引导，增强物理动力学，提升物理一致性与视觉质量。

ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation

ProxyPose：通过视频到视频转换进行六自由度姿态跟踪

Ruihang Zhang, Felix Taubner, Pooja Ravi, Kiriakos N. Kutulakos, David B. Lindell

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 研究旨在解决单目视频中6-DoF姿态跟踪问题，核心方法是将其转化为视频到视频转换，利用视频扩散模型生成代理视频，通过现成求解器恢复姿态。主要贡献是在无额外输入下实现高精度，且可扩展到多种场景。

Comments 23 pages, 6 figures

Perceptual Flow Matching for Few-Step Generative Modeling

用于少步生成建模的感知流匹配

Chuyang Zhao, Yifei Song, Hongfa Wang, Jianlong Yuan, Yuan Zhang, Siming Fu, Zhineng Chen, Huilin Deng, Haoyang Huang, Nan Duan

机构 * Joy Future Academy（京东探索研究院） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； USTC（中国科学技术大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 提出感知流匹配框架，在感知特征空间监督流匹配，改进少步生成能力，减少采样步骤，无需教师模型和辅助分数网络，实验表明其能产生高质量结果。

RetailSMV: Exocentric vs. Egocentric Adaptation of Foundation Video World Models in Retail

RetailSMV：零售场景中基础视频世界模型的外视角与内视角适应

Amirreza Rouhi, Rajat Aggarwal, Parikshit Sakurikar, Anoop M. Namboodiri, Sashi P. Reddi

机构 * DreamVu 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 研究零售场景下基础视频世界模型的外视角与内视角适应，发现仅用外视角数据训练的模型在多项指标上优于或等同于联合训练。

VIGOR: VIdeo Geometry-Oriented Reward for Temporal Generative Alignment

VIGOR: 面向视频几何的时序生成对齐奖励

Tengjiao Yin, Jinglei Shi, Heng Guo, Xi Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出基于几何的奖励模型，利用预训练几何基础模型通过跨帧重投影误差评估多视图一致性，以点方式计算误差，并引入几何感知采样策略，通过后训练和推理时优化对齐视频扩散模型，提升生成视频的几何一致性。

Comments Project Page: https://vigor-geometry-reward.com/

Cross-Resolution Distribution Matching for Diffusion Distillation

跨分辨率分布匹配的扩散蒸馏

Feiyang Chen, Hongpeng Pan, Haonan Xu, Xinyu Duan, Zhefeng Wang, Yang Yang

机构 * Huawei（华为） ； Nanjing University of Science and Technology（南京理工大学） ； HiThink Research（海康研究院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 提出跨分辨率分布匹配蒸馏（RMD）框架，通过logSNR映射和分布匹配弥合分辨率间隙，实现高保真、少步数多分辨率级联推理，在SDXL和Wan2.1-14B上分别加速33.4倍和25.6倍。

VS3R: Robust Full-frame Video Stabilization via Deep 3D Reconstruction

VS3R：基于深度三维重建的鲁棒全帧视频稳定

Muhua Zhu, Xinhao Jin, Xinping Wang, Yu Zhang, Yifei Xue, Tie Ji, Yizhen Lao

机构 * Hunan University（湖南大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出VS3R框架，结合前馈三维重建与生成式视频扩散，通过联合估计相机参数、深度和掩码，并引入混合稳定渲染模块和稳定驱动扩散模型，实现高保真全帧视频稳定，在鲁棒性和视觉质量上显著优于现有方法。

PA-VAD: Diffusion-Based Pseudo-Only Video Anomaly Detection via Domain-Aligned Memory Updates

PA-VAD: 基于扩散的伪异常视频异常检测通过域对齐记忆更新

Satoshi Hashimoto, Yanan Wang, Hitoshi Nishimura, Mori Kurokawa

机构 * KDDI Research, Inc.（KDDI研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出PA-VAD框架，仅用真实正常视频和扩散合成伪异常视频训练检测器，通过域对齐正则化模块（DARM）消除伪异常特征偏差，在多个基准上超越使用真实异常视频的方法。

Comments Accepted to ECCV 2026

Phase-Aligned RoPE for Mixed-Resolution Diffusion Transformer

相位对齐的混合分辨率扩散Transformer旋转位置编码

Haoyu Wu, Jingyi Xu, Qiaomu Miao, Dimitris Samaras, Hieu Le

机构 * Stony Brook University（石溪大学） ； UNC-Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对混合分辨率token在RoPE中注意力分数异常的问题，提出无训练机制PMA，通过统一位置尺度稳定注意力，并引入边界细化模块提升局部连贯性，在图像和视频扩散模型中提升视觉质量与计算效率。

Comments Accepted to ECCV 2026. Project page: https://hao-yu-wu.github.io/mixed_res/

GeoEdit: Geometry-Aware Object Editing via Dual-Branch Denoising

GeoEdit: 基于几何感知的双分支去噪对象编辑

Yi He, Jiangming Wang, Xinyu Wang, Mark Fong, Songchun Zhang, Yuxuan Xue, Hai-Tao Zheng, Yue Ma

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Pengcheng Laboratory（鹏城实验室） ； Sun Yat-sen University（中山大学） ； Peking University（北京大学） ； HKUST（香港科技大学） ； University of Tübingen（图宾根大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出GeoEdit，一种无需训练的三阶段管道，通过3D解耦、点对应对齐和双分支去噪，实现单张照片中对象的刚性几何变换（平移、旋转、缩放），同时保持背景自然和身份一致性。

Comments Accepted to ECCV 2026

HorizonRelight: Relighting Long-horizon Videos Consistently via Diffusion Transformers

HorizonRelight: 通过扩散变换器一致地重照明长时域视频

Jing Yang, Mayoore Jaiswal, Zian Wang, Steven Zeng, Rochelle Pereira, Yajie Zhao, Jianyuan Min

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对长视频重照明中的时间不连续问题，提出基于扩散变换器的框架，通过掩码目标域自条件化和热启动提示实现跨块一致重照明，显著提升时间一致性。

Comments https://research.nvidia.com/labs/sil/projects/horizonrelight/

FAIL: Flow Matching Adversarial Imitation Learning for Image Generation

FAIL: 流匹配对抗模仿学习用于图像生成

Yeyao Ma, Chen Li, Xiaosong Zhang, Han Hu, Weidi Xie

机构 * Shanghai Jiao Tong University（上海交通大学） ； Xi’an Jiaotong University（西安交通大学） ； Tencent（腾讯） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出FAIL方法，通过对抗训练最小化策略-专家差异，无需显式奖励或配对比较，在图像生成中实现高效训练与泛化。

InsertAnywhere: Geometrically Grounded and Optics-Aware Video Object Insertion

InsertAnywhere：基于几何和光学的视频物体插入

Hoiyeong Jin, Hyojin Jang, Junha Hyung, Jeongho Kim, Kinam Kim, Dongjin Kim, Huijin Choi, Hyeonji Kim, Jaegul Choo

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出InsertAnywhere框架，通过4D感知遮罩生成模块实现几何准确的物体放置，并引入光学感知表示对齐策略生成逼真光学效果，结合开放的ROSE++数据集提升复杂场景下的视频物体插入效果。

Comments 16 pages, project page: https://myyzzzoooo.github.io/InsertAnywhere/

Scene Generation at Absolute Scale: Utilizing Semantic and Geometric Guidance From Text for Accurate and Interpretable 3D Indoor Scene Generation

绝对尺度下的场景生成：利用文本的语义和几何引导实现精确且可解释的3D室内场景生成

Stefan Ainetter, Thomas Deixelberger, Edoardo A. Dominici, Philipp Drescher, Konstantinos Vardis, Markus Steinberger

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出GuidedSceneGen框架，通过文本预测全局3D布局并利用全景扩散模型和视频扩散模型生成绝对尺度的室内场景，实现高一致性、可导航的3D重建。

Instant Expressive Gaussian Head Avatars at Over 100 FPS

即时表达性高斯头部虚拟化身，帧率超过100 FPS

Kaiwen Jiang, Xueting Li, Seonwook Park, Ravi Ramamoorthi, Shalini De Mello, Koki Nagano

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； NVIDIA（英伟达） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出一种前馈编码器流水线，将单张野外图像转换为3D一致、快速且富有表现力的可动画化表示，通过轻量级局部融合策略实现高动画表现力，运行速度达107.31 FPS。

Comments Project website is https://research.nvidia.com/labs/amri/projects/instant4d

EO-WM: A Physically Informed World Model for Probabilistic Earth Observation Forecasting

EO-WM: 一种用于概率性地球观测预测的物理信息世界模型

Junwei Luo, Shuai Yuan, Zhenya Yang, Yansheng Li, Zhe Liu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； Wuhan University（武汉大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出EO-WM，一种视频扩散变换器，通过物理信息条件框架（气候基线、天气异常和累积应力）实现多光谱地球观测的概率性预测，在极端天气和季节匹配基准上优于现有方法。

Comments 28 pages, 5 figures, 11 tables

PRISM: Feed-Forward Single-Image 3D Reconstruction via Geometric Warp-Residual Modeling

PRISM: 基于几何扭曲残差建模的前馈式单图像三维重建

Zhijie Zheng, Xinhao Xiang, Jiawei Zhang

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出PRISM前馈框架，将多视角潜在预测分解为无参数几何先验和可学习残差校正，无需扩散采样，推理时间仅36秒/场景，重建质量与扩散方法相当。

FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

FLAT: 前馈潜在三角形泼溅用于几何精确的场景生成

Orest Kupyn, Goutam Bhat, Philipp Henzler, Fabian Manhardt, Christian Rupprecht, Federico Tombari

机构 * Google Research（谷歌研究院） ； University of Oxford, Visual Geometry Group（牛津大学视觉几何组） ； TU Munich（慕尼黑工业大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出FLAT方法，首次从视频扩散潜在表示中直接解码三角形泼溅，通过射线中心旋转参数化和乘积窗口函数解决梯度流问题，在保持视觉质量的同时显著提升几何精度。

SteerVTE: Seamless Video Text Editing with Style and Glyph Control

SteerVTE: 具有风格和字形控制的无缝视频文本编辑

Kai Zeng, Moran Li, Zhengwei Wang, Yingchen Yu, Yiheng Lin, Ruichuan An, Ming Lu, Qi She, Wentao Zhang

机构 * Peking University（北京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出SteerVTE框架，通过风格编码器和双粒度字形编码器控制冻结视频扩散模型，结合字形感知空间焦点损失和三阶段渐进训练，实现精确、连贯的视频文本编辑。

Physics in 2-Steps: Locking Motion Priors Before Visual Refinement Erases Them

两步物理：在视觉细化之前锁定运动先验会擦除它们

Woojung Han, Seil Kang, Youngjun Jun, Min-Hung Chen, Fu-En Yang, Seong Jae Hwang

机构 * National Institute of Standards and Technology（国家标准与技术研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文发现图像到视频扩散模型在两步生成中比多步生成具有更好的物理一致性，通过频谱分析将原因归结为去噪过程中的相位侵蚀，并提出无需训练的PhaseLock框架，通过从两步推理中提取运动先验并利用潜在增量引导强制到高保真生成中，有效缓解相位退化，提升物理一致性平均6.2点，同时保持视觉保真度且开销极小。

Comments ICML 2026

iTryOn: Mastering Interactive Video Virtual Try-On with Spatial-Semantic Guidance

iTryOn: 通过空间-语义引导掌握交互式视频虚拟试穿

Jun Zheng, Zhengze Xu, Mengting Chen, Jing Wang, Jinsong Lan, Xiaoyong Zhu, Kaifu Zhang, Bo Zheng, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University ； Taobao \& Tmall Group of Alibaba 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出iTryOn框架，通过空间-语义引导解决交互式视频虚拟试穿中的语义模糊和复杂服装变形问题，实现了更动态可控的虚拟试穿体验。

Comments Project Page: https://zhengjun-ai.github.io/itryon-page. Accepted by ICML 2026

SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues

SierpinskiCam: 基于谢尔宾斯基三角形图案线索的相机控制视频重拍

Suttisak Wizadwongsa, Hyelin Nam, Supasorn Suwajanakorn, Jeong Joon Park

机构 * University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； VISTEC, Thailand（泰国威斯泰克科学技术研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出SierpinskiCam方法，通过谢尔宾斯基圆顶纹理线索增强几何引导，并引入参考视频条件机制，解决单目视频重拍中相机大角度偏离时的稀疏区域问题，提升相机可控性、几何一致性和视频质量。

Comments 20 pages, 13 figures

ReGenHuman: Re-Generating Human Appearances for Realistic Full-Body Video Anonymization

ReGenHuman: 重新生成人体外观以实现逼真的全身视频匿名化

Adam Sun, Eshaan Barkataki, Arnold Milstein, Gordon Wetzstein, Ehsan Adeli

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出ReGenHuman，首个同时实现逼真、时间一致且天生匿名的全身视频匿名化流水线，采用“重新生成而非编辑”范式，利用结构条件微调视频扩散模型合成人体区域。