视频大模型

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

Kaleido：通过利用潜在空间相关性对视频扩散变压器进行算法-硬件协同设计

Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Jiao Tong University, Shanghai Qi Zhi Institute（上海交通大学、上海颀智研究所） ； Huawei Technologies（华为技术有限公司） ； ICT, Chinese Academy of Sciences（信息科技研究所、中国科学院） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)

AI总结 针对视频扩散变压器计算成本高的问题，提出Kaleido算法-硬件协同设计，利用潜在空间通道级时空相关性加速操作，有轻量级重用算法，设计了加速器，实验表明其相比现有加速器有显著加速和节能效果。

Mitigating Compounding Error via Video Representation Regularization

通过视频表示正则化缓解复合误差

Taiye Chen, Qi Zhang, Yisen Wang

机构 * Peking University（北京大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 针对视频扩散世界模型自回归生成的复合误差问题，研究发现其与表示维度崩溃相关，提出视频表示正则化方法，在VBench指标上显著优于Diffusion Forcing，提升了长视频生成的鲁棒性。

The generator is the tracker: Multi-object tracking by painting persistent identity colours

生成器即跟踪器：通过绘制持久身份颜色进行多目标跟踪

Haiyu Yang, Miel Hostens

机构 * Cornell University（康奈尔大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；long video(abstract)；分类 cs.CV

AI总结 研究多目标跟踪问题，核心方法是用轻量级LoRA微调文本到视频扩散模型生成带持久身份颜色的视频，无需传统跟踪组件。主要贡献是在DanceTrack测试服务器上达到40.3 HOTA，有独特错误分布，颜色分配可在遮挡后重新识别身份。

FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers

FlashDecoder：基于Transformer的实时潜空间到像素流解码器

Minguk Kang, Suha Kwak

机构 * Pika Labs（皮卡实验室） ； POSTECH（浦项科技大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 研究针对实时视频生成中潜视频扩散模型解码慢、内存占用大的问题，提出FlashDecoder，一种基于Transformer的纯视频解码器，通过滚动KV缓存和顺序处理帧实现快速解码，在重建质量匹配卷积解码器的同时大幅提升速度并减少内存占用。

Comments CVPR2026

Vera: A Layered Diffusion Model for Content-Preserving Video Editing

Vera: 一种用于内容保持视频编辑的分层扩散模型

Hongkai Zheng, Ta-Ying Cheng, Benjamin Klein, Yisong Yue, Zhuoning Yuan

机构 * California Institute of Technology（加州理工学院） ； Netflix, Inc（Netflix公司） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出Vera分层扩散框架，通过生成编辑层和alpha遮罩与源视频合成，利用混合Transformer架构和高质量分层数据集，在保持内容的同时实现高质量编辑。

Comments https://vera-layered-diffusion.github.io/

SafeGen: Goal-Conditioned Video Diffusion of Safety-Critical Scenarios for VLM-Based Autonomous Driving

SafeGen：基于视觉语言模型的自动驾驶安全关键场景的目标条件视频扩散

Jiangfan Liu, Zexuan Cui, Tianyuan Zhang, Zonglei Jing, Zonghao Ying, Yaoyuan Zhang, Jiakai Wang, Xiaoqi Jiang, Aishan Liu, Xianglong Liu

机构 * Beihang University（北京航空航天大学） ； Zhongguancun Laboratory（中关村实验室） ； Chery Automobile Co., Ltd.（奇瑞汽车股份有限公司） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV

AI总结 研究针对VLM在自动驾驶系统中的应用，提出SafeGen框架，将场景生成设为目标条件扩散过程，引入上下文接地最终状态推理和最终状态条件下的视频演化，实验表明该框架能提升评判得分，微调后可提高真实驾驶场景性能。

Ocean4D: Generative Underwater 4D Reconstruction via Medium-Aware Video Diffusion

Ocean4D：通过介质感知视频扩散的生成式水下4D重建

Yuqiang Huang, Yuxi Wang, Junyu Dong, Zhaoxiang Zhang

机构 * Faculty of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学部） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV

AI总结 提出Ocean4D生成式框架，通过4D几何一致性条件化和介质感知去噪扩散，解决水下动态场景中吸收与散射导致的几何不稳定和跨视角不一致问题，实现单目视频到目标轨迹的高质量4D重建。

Vid2WAM: Distilling Video Diffusion Priors into World Action Models

Vid2WAM：将视频扩散先验蒸馏为世界动作模型

Chenhao Qiu, Ruixiang Wang, Runyi Zhao, Sixu Lin, Songen Gu, Shufeng Nan, Guiliang Liu, Kui Jia, Yanwei Fu, Simo Wu

专题命中 视频扩散模型 ：video diffusion(title)

AI总结 Vid2WAM是将视频扩散先验蒸馏为WAM的离线框架，通过双监督通道与源感知残差动作适配，提升了机器人策略的新任务泛化性与数据效率，且推理高效。

Comments Project website: https://qch-fa.github.io/vid2wam-website/

Genie Sim PanoWorld: An Infinite Indoor 3D World Generation Pipeline via Panoramic Scene Modeling and Simulation

Genie Sim PanoWorld：基于全景场景建模与仿真的无限室内3D世界生成流水线

Yongxin Su, Linjie Hou, Feng Wang, Jialin Tang, Zhijun Li, Qian Wang, Maoqing Yao

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 Genie Sim PanoWorld是两阶段前馈流水线，从单张360°全景生成可自由导航的高保真3D高斯场景，优于几何条件基线，且能零样本泛化至未见室内场景

OmniCache: Multidimensional Hierarchical Feature Caching For Diffusion Models

OmniCache：用于扩散模型的多维分层特征缓存

Zhaoyuan He, Muhammad Muaz, Lili Qiu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 针对高分辨率图像和视频扩散模型推理成本高的问题，提出OmniCache框架，利用中间扩散特征冗余，通过多种缓存实现多维特征重用，减少推理延迟，在多模型上取得良好效果，且无需重新训练。

Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers

具有世界状态寄存器的流式多智能体自回归扩散模型

Sicheng Mo, Yuheng Li, Ziyang Leng, Krishna Kumar Singh, Bolei Zhou

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 研究多智能体交互世界模型共享状态维护难题，提出WorldWeaver模型，利用跨智能体世界状态寄存器及混合变压器设计，经双智能体我的世界视频生成实验验证，该模型能提升逻辑一致性与生成质量。

Comments Project page: https://vail-ucla.github.io/worldweaver/

RealVDeblur: One-Step Diffusion for Generalizable Real-World Video Deblurring

RealVDeblur：用于通用真实世界视频去模糊的一步扩散法

Renbiao Jin, Mingxin Yang, Yutian Chen, Junhao Zhuang, Xin Cai, Mulin Yu, Linning Xu, Wenxian Yu, Danping Zou, Shi Guo, Tianfan Xue

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； CUHK MMLab（香港中文大学多媒体实验室） ； CPII under InnoHK（创新香港研究院下的CPII） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 针对真实世界视频去模糊难题，提出RealVDeblur框架。构建模糊合成管道提供数据，利用视频扩散先验恢复，采用逐帧编码并简化采样为一步生成器，还有时间窗口掩码稳定推理，在多方面表现出色且提升3D重建鲁棒性。

Comments Project page with code: https://rbjin.github.io/RealVDeblur/

Hierarchical Denoising For Multi-Step Visual Reasoning

用于多步视觉推理的分层去噪

Zezhong Qian, Xiaowei Chi, Chak-Wing Mak, Tianze Zhou, Ruibin Yuan, Yuhan Rui, Hengzhe Sun, Zhuoqun Wu, Yuming Li, Siyuan Qian, Sirui Han, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理技术国家重点实验室） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beihang University（北京航空航天大学） ； Fuzhou University（福州大学） ； Muka Robotics（木卡机器人） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 研究针对视频模型多步推理不足的问题，提出HDR框架，通过树形层次结构和稀疏分层注意力模式进行多步推理，在新基准测试中提升了成功率和进度，推理更快，数据效率更高，在机器人实验中展现潜力。

FADRA: Frequency-Aware Diffusion with Residual Adaptation for Video Face Restoration

FADRA：用于视频人脸识别的频率感知扩散与残差自适应

Jin Jiang, Jia Wang, Panwen Hu, Weiran Zhao, Shengcai Liao

机构 * United Arab Emirates University (UAEU)（阿联酋大学） ； Ocean University of China (OUC)（中国海洋大学） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 研究针对视频人脸识别在复杂退化下难以平衡空间保真度和时间连贯性的问题，提出FADRA框架，利用预训练模型的时间一致性，通过LoRA适配器、重复残差自适应头及频率感知损失等实现，实验证明其在恢复面部结构和保持时间一致性上优于现有方法。

Mask2Real-WM: Segmentation Masks as a Sim-to-Real Bridge for Controllable Dexterous World Models

Mask2Real-WM：作为可控灵巧世界模型的模拟到现实桥梁的分割掩码

Riccardo O. Feingold, Davide Liconti, Chenyu Yang, Robert K. Katzschmann

机构 * Soft Robotic Lab, Department of Mechanical and Process Engineering ETH Zurich, Switzerland（苏黎世联邦理工学院机械与过程工程系软机器人实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Mask2Real-WM，一种用于灵巧操纵的两阶段动作条件世界模型，将像素预测解耦为动力学和渲染模型，利用分割空间较小的模拟到现实差距，通过合成数据预训练和真实演示微调实现各自由度动作可控。

Comments 23 pages, 24 figures, 4 tables. Preprint. Project page: https://srl-ethz.github.io/Mask2Real-WM/

Adaptive-WAM: Quality-Guided Early-Exit Planning from Intermediate Video-Diffusion Features

Adaptive-WAM：基于质量引导的中间视频扩散特征早期退出规划

Sining Ang, Yuguang Yang, Yan Wang

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)

AI总结 Adaptive-WAM是基于Wan2.2-5B主干的质量感知多出口规划器，通过动态分配主干深度减少计算量，在NAVSIM、nuScenes等数据集上取得优异规划性能，延迟显著降低。

GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving

GF-DiT：扩散Transformer服务的并行调度

Xinwei Qiang, Yifan Hu, Shixuan Sun, Jing Yang, Han Zhao, Chen Chen, Yu Feng, Jingwen Leng, Minyi Guo

机构 * Shanghai Jiao Tong University（上海交通大学） ； Guizhou University（贵州大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)

AI总结 提出GF-DiT，一种策略可编程运行时，通过动态调整请求并行度来优化扩散Transformer服务，利用无组集合通信实现低开销在线重配置，显著提升吞吐量和降低延迟。

From Synthesis to Removal: Physics-Grounded Reflection Simulation and Diffusion-Based Video Dereflection

从合成到去除：基于物理的反射模拟与基于扩散的视频去反射

Zepeng Wang, Jiagao Hu, Fuhao Li, Yuxuan Chen, Fei Wang, Daiguo Zhou

机构 * Xiaomi Inc.（小米公司） ； MiLM Plus 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV

AI总结 该研究针对视频反射去除数据与模型缺失问题，提出闭环框架S2R，含基于物理的反射模拟、首个扩散式视频去反射模型及专用基准，实现了更优性能与更快推理。

Comments Project page: https://codingwzp.github.io/VideoDereflection_S2R

Generative Video Compression with Adaptive Score Distillation

基于自适应分数蒸馏的生成式视频压缩

Naifu Xue, Zhaoyang Jia, Haosen Li, Zihan Zheng, Jiahao Li, Bin Li, Xiaoyi Zhang, Qi Meng, Yuan Zhang, Yan Lu

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、eess.IV

AI总结 研究针对视频压缩探索专门设计的扩散模型，提出GenVC，通过全局到局部层次结构恢复时空细节，用自适应分数蒸馏加速推理，在超低比特率下实现高质量重建，参数少且解码速度快。

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

眩晕眩晕：通过其预测性AI双重重建电影理想

Adam Cole, Mick Grierson

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV、cs.MM

AI总结 使用仅2.78%原始帧通过视频扩散模型重建希区柯克《迷魂记》，验证生成系统编码的经典电影规范，73.1%帧可识别，3.6%严重失败。

Comments Accepted to Ars Electronica EXPANDED 2026 - Conference on Animation and Interactive Art (in cooperation with ACM SIGGRAPH), Ars Electronica Festival, Linz. 7 pages, 7 figures. Authors' version

SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation

SNM-VFI：对称非线性运动引导的生成式视频帧插值

Jisoo Jeong, Hong Cai, Jamie Menjay Lin, Hanno Ackermann, Hyeonjun Sim, Yinhao Zhu, Yunxiao Shi, Fatih Porikli

机构 * Qualcomm（高通公司） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出无需训练的SNM-VFI框架，结合预训练光流与视频扩散模型，用对称非线性运动模型引导生成过程，经多基准评估实现了优质视频帧插值效果。

Comments ECCVW 2026

From Local Mismatch to Global Impact: Optimizing Cache Reuse Policy for Efficient Diffusion

从局部失配到全局影响：优化缓存重用策略以实现高效扩散模型

Xichen Ye, Yifan Wu, Zhikang Xie, Xiangyu Yue, Cheng Jin, Weizhong Zhang

机构 * Faculty of Engineering, The Chinese University of Hong Kong（香港中文大学工程学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对扩散模型缓存策略与生成质量失配问题，提出GCache双层优化框架，在Wan2.1模型上实现2.17倍加速且LPIPS降至0.0316，性能优于现有缓存策略。

Generative Video Compression Based on Hierarchical Referencing

基于分层参考的生成式视频压缩

Daowen Li, Ding Ding, Zifu Zhang, Kai Li, Ying Chen

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出基于分层参考的生成式视频压缩方法GVCHR，通过分层结构优化潜在编码与生成重建，在多个基准数据集上较现有最优方法实现LPIPS和DISTS指标下50.5%、54.0%的BD-rate增益，视觉质量显著提升。

Beyond Pixels: From Video Priors to 4D Worlds

超越像素：从视频先验到4D世界

Zihao Liu, Xiaolong Shen, Zhenglin Zhou, Ruijie Quan, Yi Yang

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出Latent-to-4D方法，利用共享VAE的视频模型去噪潜在变量作为接口实现4D生成，在两个数据集上的DINO-F1指标优于对比方法，且受人类评估者认可。

Comments Project page: https://hayd-zju.github.io/Beyond-Pixels

Learning How the World Evolves: Extrapolative Video World Models via Latent Dynamics Reasoning

学习世界如何演化：基于潜动态推理的外推视频世界模型

Haodong Li, Shaoteng Liu, Tianyu Wang, Chongjian Ge, Sihui Ji, Jiahan Zhang, Xin Lin, Haolin Lu, Zhe Lin, Manmohan Chandraker

机构 * UCSD（加利福尼亚大学圣迭戈分校） ； Adobe（奥多比公司） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对主流视频扩散模型未建模像素时间转换的问题，提出LDR方法，在PhyWorld基准上实现更优动态外推，参数更少、速度更快，是首个能泛化至训练分布外的视频世界模型

Comments Project page: https://lat-dyn-reason.github.io/

GeoRoute: Geometry-Aware Hybrid Inference for Traffic Future-Frame Prediction

GeoRoute：面向交通未来帧预测的几何感知混合推理方法

Khang Minh Le, Hieu Dinh Trung Pham, Luu Thanh Danh, Nam-Tien Le, Hieu Anh Ngo, Phuong Huu Vu Tran, Son Nguyen Minh Le, Nguyen Trong Nghia, Tu Tran Thi Cam, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

机构 * Vietnamese-German University（越南-德国大学） ； University of Science, Ho Chi Minh City（胡志明市科学大学） ； Ho Chi Minh City University of Technology（胡志明市技术大学） ； University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 GeoRoute是一种无需训练的几何感知混合推理框架，通过多帧深度分层渲染器和视角条件选择预测器，在AI City Challenge Track 5基准上实现了具有竞争力的交通未来帧预测性能，提升了静态几何稳定性。

Comments accepted to the ECCV 2026 AI City Challenge Workshop

InstructionCrafter: Generating Consistent and High-Fidelity Visual Instructions

InstructionCrafter：生成一致且高保真的视觉指令

Shun Okamoto, Satoshi Iizuka, Kazuhiro Fukui

机构 * University of Tsukuba（筑波大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本研究提出基于扩散的InstructionCrafter框架，通过空间冻结训练和两种适配器优化，实现了文本到分步视觉指令的生成，在多基准数据集上达成了最优性能且减少了噪声等问题，代码和模型将公开。

BRACE: Taming Sharp Irregularities via Barycentric Rational Forecasting for Fast Diffusion Transformers Inference

BRACE：利用重心有理预测控制快速扩散Transformer推理中的尖锐不规则性

Jinlong Yang, Jinke Wu, Lizilin, Yao Zhou

机构 * Sichuan University（四川大学） ； School of Artificial Intelligence, Sichuan University（四川大学人工智能学院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本研究针对扩散Transformer（DiTs）高加速推理时的质量下降问题，提出带切比雪夫增强的重心有理预测方法BRACE，通过特征驱动的有理预测实现最优质量-效率权衡，且计算开销极低。

Comments 10 pages, 6 figures, 5 tables. Project page: https://youngkinlon.github.io/BRACE-Taming-Sharp-Irregularities-via-Barycentric-Rational-Forecasting-for-Fast-DiT-Inference/

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

面向不确定性引导的扩散模型后训练的样本自适应潜在奖励

Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出\textsc{SURE}框架，含\textsc{SURE-LRM}与\textsc{SURE-REFL}，通过样本自适应潜在奖励与不确定性引导反馈优化扩散模型，在偏好预测、SOTA性能及VBench指标上表现优异。

Mirror Learning

镜像学习

Yunpeng Liu, Matthew Niedoba, Oluwanifemi A. Adekanye, Jason Yoo, Yingchen He, Berend Zwartsenberg, Frank Wood

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Inverted AI ； Amii 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 该研究提出镜像学习框架，通过视频扩散模型的视角变换与逆动力学模型合成镜像数据，用其增强行为克隆训练可提升策略性能，为数据收集提供替代方案。