视频大模型

Unified Vision-Language Modeling via Concept Space Alignment

通过概念空间对齐实现统一的视觉-语言建模

Yifu Qiu, Paul-Ambroise Duquenne, Holger Schwenk

机构 * University of Edinburgh（爱丁堡大学） ； FAIR at Meta（Meta公司FAIR团队） 纠错

专题命中 视频扩散模型 ：text-to-video(abstract)；分类 cs.CV

AI总结 通过概念空间对齐实现统一的视觉-语言建模，V-SONAR在多语言和多模态任务中超越现有模型。

Comments ICLR 2026

HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles

HorizonForge: 通过任意轨迹和任意车辆驱动场景编辑

Yifan Wang, Francesco Pittaluga, Zaid Tasneem, Chenyu You, Manmohan Chandraker, Ziyu Jiang

机构 * NEC Labs America（NEC美国实验室） ； Stony Brook University（石溪大学） ； UC San Diego（圣地亚哥大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 HorizonForge通过任意轨迹和车辆实现驾驶场景的可控编辑，利用高斯溅射体和网格表示，结合视频扩散技术，提升生成场景的真实性和可控性。

Comments Accepted by CVPR 2026

Plug-and-Play Fidelity Optimization for Diffusion Transformer Acceleration via Cumulative Error Minimization

通过累积误差最小化实现扩散变换器加速的即插即用保真优化

Tong Shao, Yusen Fu, Guoying Sun, Jingde Kong, Zhuotao Tian, Jingyong Su

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 通过累积误差最小化实现扩散变换器加速的即插即用保真优化，提升生成保真度并优于现有方法。

Comments 29 pages, ICLR2026 accepted

SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching

SenCache: 通过敏感性感知缓存加速扩散模型推理

Yasaman Haghighi, Alexandre Alahi

机构 * École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院（EPFL）） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 SenCache通过敏感性感知缓存策略，提升扩散模型推理效率与视觉质量。

HumanOrbit: 3D Human Reconstruction as 360° Orbit Generation

HumanOrbit：3D人体重建作为360°轨道生成

Keito Suzuki, Kunyao Chen, Lei Wang, Bang Du, Runfa Blark Li, Peng Liu, Ning Bi, Truong Nguyen

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Qualcomm（高通公司） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 HumanOrbit通过视频扩散模型实现多视角人体生成，生成360°轨道视频并重建高保真3D模型。

Comments CVPR 2026 Findings

G4Splat: Geometry-Guided Gaussian Splatting with Generative Prior

G4Splat：基于生成先验的几何引导高斯点云法

Junfeng Ni, Yixin Chen, Zhifei Yang, Yu Liu, Ruijie Lu, Song-Chun Zhu, Siyuan Huang

机构 * Tsinghua University（清华大学） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） ； BIGAI ； Peking University（北京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 G4Splat通过几何引导的生成先验提升3D场景重建，有效解决多视角不一致性问题，实现高质量场景补全。

Comments ICLR'26. Project page: https://dali-jack.github.io/g4splat-web/

Deforming Videos to Masks: Flow Matching for Referring Video Segmentation

视频变形到掩码：用于指认视频分割的流匹配

Zanyi Wang, Dengyang Jiang, Liuzhuozheng Li, Sizhe Dang, Chengzu Li, Harry Yang, Guang Dai, Mengmeng Wang, Jingdong Wang

机构 * SGIT AI Lab, State Grid Corporation of China（国网信通研究院） ； University of California, San Diego（加州大学圣地亚哥分校） ； The Hong Kong University of Science and Technology（香港科技大学） ； The University of Tokyo（东京大学） ； University of Cambridge（剑桥大学） ； Zhejiang University of Technology（浙江工业大学） ； Baidu（百度） 纠错

专题命中 视频扩散模型 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出FlowRVS框架，将指认视频分割视为条件连续流问题，通过学习视频整体表示到目标掩码的直接语言引导变形，在多个基准上取得新突破。

BetterScene: 3D Scene Synthesis with Representation-Aligned Generative Model

BetterScene: 一种基于表示对齐生成模型的3D场景合成

Yuci Han, Charles Toth, John E. Anderson, William J. Shuart, Alper Yilmaz

机构 * Dept. of Electrical and Computer Engineering, The Ohio State University（电气与计算机工程系，俄亥俄州立大学） ； USACE ERDC GRL（美国陆军工程兵队ERDC GRL） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 BetterScene通过引入时间等价性正则化和视觉基础模型对齐的表示，提升3D场景合成的视角一致性与质量。

Ani3DHuman: Photorealistic 3D Human Animation with Self-guided Stochastic Sampling

Ani3DHuman：基于自引导随机采样的逼真3D人体动画

Qi Sun, Can Wang, Jiaxiang Shang, Yingchun Liu, Jing Liao

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 Ani3DHuman通过结合运动学动画与视频扩散先验，利用自引导随机采样实现逼真3D人体动画生成。

Comments CVPR 2026

DDiT: Dynamic Patch Scheduling for Efficient Diffusion Transformers

DDiT: 动态补丁调度用于高效的扩散变换器

Dahye Kim, Deepti Ghadiyaram, Raghudeep Gadde

机构 * Boston University（波士顿大学） ； Amazon（亚马逊） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 DDiT通过动态调整补丁大小，在保持生成质量的同时显著提升扩散变换器的推理效率。

Large Scale Diffusion Distillation via Score-Regularized Continuous-Time Consistency

大规模扩散蒸馏的连续时间一致性 via 分数正则化

Kaiwen Zheng, Yuji Wang, Qianli Ma, Huayu Chen, Jintao Zhang, Yogesh Balaji, Jianfei Chen, Ming-Yu Liu, Jun Zhu, Qinsheng Zhang

机构 * Dept. of Comp. Sci. & Tech., BNRist Center, THU-Bosch ML Center, AI Institute, Tsinghua（清华大学计算机科学与技术系，BNRist中心，THU-Bosch机器学习中心，人工智能研究院） ； NVIDIA 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出分数正则化的连续时间一致性模型（rCM），通过引入分数蒸馏作为长跳正则化器，改进了sCM在细节生成和多样性方面的性能，适用于大规模图像和视频扩散任务。

Comments ICLR 2026

SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning

SpargeAttention2: 通过混合Top-k+Top-p掩码和蒸馏微调实现可训练稀疏注意力

Jintao Zhang, Kai Jiang, Chendong Xiang, Weiqi Feng, Yuezhou Hu, Haocheng Xi, Jianfei Chen, Jun Zhu

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 SpargeAttention2通过混合Top-k+Top-p掩码和蒸馏微调，实现高稀疏性且不降低生成质量。

SurfPhase: 3D Interfacial Dynamics in Two-Phase Flows from Sparse Videos

SurfPhase：从稀疏视频中重建两相流三维界面动力学

Yue Gao, Hong-Xing Yu, Sanghyeon Chang, Qianxi Fu, Bo Zhu, Yoonjin Won, Juan Carlos Niebles, Jiajun Wu

机构 * Computer Science Department, Stanford University（斯坦福大学计算机科学系） ； Aerospace Engineering, University of California, Irvine（加州大学伊藤分校航空航天工程系） ； School of Interactive Computing, Georgia Institute of Technology（佐治亚理工学院交互计算学院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 SurfPhase通过动态高斯surfels和视频扩散模型，从稀疏视频中重建两相流的三维界面动力学，实现高质量视角合成和速度估计。

Comments The first two authors contributed equally. Project website: https://yuegao.me/SurfPhase

FastFlow: Accelerating The Generative Flow Matching Models with Bandit Inference

FastFlow: 通过多臂老虎机推断加速生成流匹配模型

Divya Jyoti Bajpai, Dhruv Bhardwaj, Soumya Roy, Tejas Duseja, Harsh Agarwal, Aashay Sandansing, Manjesh Kumar Hanawal

机构 * Indian Institute of Technology Bombay（印度理工学院孟买分校） ； Amazon（亚马逊） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 FastFlow通过多臂老虎机推断方法，实现流匹配模型生成过程的加速，同时保持生成质量。

Comments Accepted at International Conference on Learning Representations (ICLR) 2026

ArtisanGS: Interactive Tools for Gaussian Splat Selection with AI and Human in the Loop

ArtisanGS: 带有AI和人机协作的高斯点选择交互工具

Clement Fuji Tsang, Anita Hu, Or Perel, Carsten Kolve, Maria Shugrina

机构 * NVIDIA ； NVIDIA Canada（NVIDIA 加拿大） ； University of Toronto Canada（多伦多大学 加拿大） ； NVIDIA France（NVIDIA 法国） ； University of Toronto（多伦多大学） ； Institute for Clarity in Documentation Dublin Ohio USA（文档清晰研究所 俄亥俄州 大致） ； Inria Paris-Rocquencourt（法国巴黎-罗克琴特研究所） ； Rajiv Gandhi University Doimukh Arunachal Pradesh India（拉吉夫·甘地大学 亚当穆克 阿鲁纳恰尔邦 印度） ； Tsinghua University Haidian Qu Beijing Shi China（清华大学 海淀区 北京市 中国） ； Palmer Research Laboratories San Antonio Texas USA（帕勒研究中心 肯塔基州 威斯康星州 美国） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 ArtisanGS通过交互式工具实现高斯点选择与分割，结合AI与人工干预，提供灵活的局部编辑功能，适用于真实场景中的可控编辑。

Comments 12 pages, includes supplementary material

AdaTSQ: Pushing the Pareto Frontier of Diffusion Transformers via Temporal-Sensitivity Quantization

AdaTSQ: 通过时间敏感量化推动扩散变换器的帕累托前沿

Shaoqiu Zhang, Zizhong Ding, Kaicheng Yang, Junyi Wu, Xianglong Yan, Xi Li, Bingnan Duan, Jianping Fang, Yulun Zhang

机构 * Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 AdaTSQ通过时间敏感量化方法提升扩散变换器的效率与质量，优于现有方法。

Comments Code will be released at https://github.com/Qiushao-E/AdaTSQ/

Rethinking Global Text Conditioning in Diffusion Transformers

重新思考扩散变换器中的全局文本条件化

Nikita Starodubcev, Daniil Pakhomov, Zongze Wu, Ilya Drobyshevskiy, Yuchen Liu, Zhonghao Wang, Yuqian Zhou, Zhe Lin, Dmitry Baranchuk

机构 * Yandex Research（Yandex研究院） ； Adobe Research（Adobe研究院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文重新思考扩散变换器中的全局文本条件化，发现传统调制机制贡献有限，但通过不同视角使用池化嵌入可带来显著性能提升。

Comments Accepted at ICLR26

Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models

无条件先验很重要！改进细调扩散模型的条件生成

Prin Phunyaphibarn, Phillip Y. Lee, Jaihoon Kim, Minhyuk Sung

机构 * KAIST（韩国科学技术院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出通过替换无条件噪声提升条件生成质量，验证了使用其他扩散模型进行无条件噪声预测的有效性。

Comments WACV 2026; Project Page: https://unconditional-priors-matter.github.io/

Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints

通过谱约束的长跳连接实现稳定高效的扩散变换器

Guanjie Chen, Xinyu Zhao, Yucheng Zhou, Xiaoye Qu, Tianlong Chen, Yu Cheng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； SKL-IOTSC, CIS, University of Macau（澳门大学SKL-IOTSC、CIS） ； Huazhong University of Science and Technology（华中科技大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 通过引入长跳连接和谱约束，Skip-DiT实现了图像和视频生成中的稳定高效扩散变换器，显著提升了训练和推理效率。

Comments 17 pages, 8 figures

FastPhysGS: Accelerating Physics-based Dynamic 3DGS Simulation via Interior Completion and Adaptive Optimization

FastPhysGS: 通过内部补全与自适应优化加速基于物理的动态3DGS仿真

Yikun Ma, Yiqing Li, Jingwen Ye, Zhongkai Wu, Weidong Zhang, Lin Gao, Zhi Jin

机构 * School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学智能系统工程学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Guangdong Provincial Key Laboratory of Fire Science（广东省消防科学与智能应急技术重点实验室） ； Guangdong Provincial Key Laboratory of Robotics（广东省机器人与数字智能制造技术重点实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 FastPhysGS通过内部补全与自适应优化，实现了基于物理的动态3DGS仿真的高效与稳健，提升了仿真精度和效率。

MTC-VAE: Multi-Level Temporal Compression with Content Awareness

MTC-VAE：具有内容意识的多级时间压缩

Yubo Dong, Linchao Zhu

机构 * ReLER, CCAI, Zhejiang University（ReLER、CCAI、浙江大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 MTC-VAE通过多级时间压缩技术提升视频压缩效率，结合内容意识方法实现高效压缩与性能优化。

FlowCast: Trajectory Forecasting for Scalable Zero-Cost Speculative Flow Matching

FlowCast: 为可扩展的零成本推测性流匹配进行轨迹预测

Divya Jyoti Bajpai, Shubham Agarwal, Apoorv Saxena, Kuldeep Kulkarni, Subrata Mitra, Manjesh Kumar Hanawal

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔分校） ； University of California, Berkeley（加州大学伯克利分校） ； Inception Labs（Inception实验室） ； Adobe Research India（Adobe印度研究） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 FlowCast通过利用流匹配模型保持恒定速度的特性，实现无需训练的高效推理，提升图像生成等任务的速度2.5倍，同时保持质量。

Comments Accepted at International Conference on Learning Representations (ICLR 2026)

DISK: Dynamic Inference SKipping for World Models

DISK：用于世界模型的动态推理跳过

Anugunj Naman, Gaibo Zhang, Ayushman Singh, Yaguang Zhang

机构 * Purdue University, West Lafayette, United States（普渡大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 DISK通过动态推理跳过技术，在无需训练的情况下提升自回归世界模型的视频和轨迹预测效率，同时保持预测精度和视觉质量。

GR3EN: Generative Relighting for 3D Environments

GR3EN: 生成式3D环境光照

Xiaoyan Xing, Philipp Henzler, Junhwa Hur, Runze Li, Jonathan T. Barron, Pratul P. Srinivasan, Dor Verbin

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 GR3EN通过将视频到视频扩散模型输出蒸馏到3D重建中，实现对房间尺度场景的可控3D光照调整，无需解决逆渲染问题，适用于复杂现实场景。

Comments project page: https://gr3en-relight.github.io/

FreeFix: Boosting 3D Gaussian Splatting via Fine-Tuning-Free Diffusion Models

FreeFix: 通过无微调扩散模型提升3D高斯散射

Hongyu Zhou, Zisen Shao, Sheng Miao, Pan Wang, Dongfeng Bai, Bingbing Liu, Yiyi Liao

机构 * Zhejiang University（浙江大学） ； University of Maryland, College Park（马里兰大学学院 park 分校） ； Huawei（华为） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 FreeFix通过无微调扩散模型提升3D高斯散射，实现高质量视图合成与强泛化能力。

Comments Our project page is at https://xdimlab.github.io/freefix

TwinFlow: Realizing One-step Generation on Large Models with Self-adversarial Flows

TwinFlow: 在大模型上实现一步生成的自对抗流

Zhenglin Cheng, Peng Sun, Jianguo Li, Tao Lin

机构 * Inclusion AI ； Shanghai Innovation Institute（上海创新研究院） ； Westlake University（西湖大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 TwinFlow 提出了一种无需预训练教师模型和标准对抗网络的一步生成框架，实现了在大模型上高效生成，提升了推理效率并降低了计算成本。

Comments arxiv v1, accepted to ICLR 2026

QVGen: Pushing the Limit of Quantized Video Generative Models

QVGen：推动量化视频生成模型的极限

Yushi Huang, Ruihao Gong, Jing Liu, Yifu Ding, Chengtao Lv, Haotong Qin, Jun Zhang

机构 * Hong Kong University of Science and Technology（香港理工大学） ； Beihang University（北京航空航天大学） ； SenseTime Research（商汤科技研究院） ； Monash University（墨尔本大学） ； Nanyang Technological University（南洋理工大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 QVGen通过量化感知训练框架在极低比特下实现高性能视频生成模型，首次达到全精度质量并优于现有方法。

Comments Accepted by ICLR 2026

Astra: General Interactive World Model with Autoregressive Denoising

Astra：通用交互世界模型与自回归去噪

Yixuan Zhu, Jiaqi Feng, Wenzhao Zheng, Yuan Gao, Xin Tao, Pengfei Wan, Jie Zhou, Jiwen Lu

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 Astra提出了一种通用交互世界模型，通过自回归去噪和动作感知适配器实现长周期视频预测与多样化交互。

Comments Accepted in ICLR 2026. Code is available at: https://github.com/EternalEvan/Astra

HiCache: A Plug-in Scaled-Hermite Upgrade for Taylor-Style Cache-then-Forecast Diffusion Acceleration

HiCache: 一种基于赫尔米特多项式的插件式泰勒风格缓存加速框架

Liang Feng, Shikang Zheng, Jiacheng Liu, Yuqi Lin, Qinming Zhou, Peiliang Cai, Xinyu Wang, Junjie Chen, Chang Zou, Yue Ma, Linfeng Zhang

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 HiCache通过基于赫尔米特多项式的插件式方法，提升扩散模型的推理速度和预测精度，实现5.55倍的加速并保持高质量输出。

TaQ-DiT: Time-aware Quantization for Diffusion Transformers

TaQ-DiT: 时感知量化用于扩散变换器

Xinyan Liu, Huihong Shi, Yang Xu, Zhongfeng Wang

专题命中 视频扩散模型 ：video generation(abstract)；分类 eess.IV

AI总结 TaQ-DiT通过引入时感知量化方法，解决扩散变换器中权重和激活的非收敛问题及不同层的量化敏感性差异，提升量化效果。