视频大模型

Effective Multi-sensor Conditioning for Street-view Novel-view Synthesis

面向街景新视角合成的有效多传感器条件控制

Zhengfei Kuang, Adam Sun, Liyuan Zhu, Tong Wu, Shengqu Cai, Jonathan Tremblay, Iro Armeni, Ehsan Adeli, Lior Yariv, Gordon Wetzstein

机构 * Stanford Univerity（斯坦福大学） ； NVIDIA 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出StreetNVS视频扩散框架，通过参考增强相机注意力模块和相对射线级位置编码联合利用LiDAR、环视图像和相机位姿，实现稀疏LiDAR条件下的高质量街景新视角合成。

LinCa: Accelerating Diffusion Models via Learnable Decomposed Feature Caching

LinCa：基于可学习分解特征缓存的扩散模型加速方法

Jinshan Liu, Haoran Qin, Xiaobing Tu, Jiacheng Liu, Jiahui Hu, Zhengan Yan, Yukun Xie, Kerui Shen, Jinkui Ren, Yuqi Lin, Xiantao Zhang, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） ； Terminal Intelligent Computing Division, Alibaba Cloud（阿里云终端智能计算事业部） ； South China University of Technology（华南理工大学） ； Jilin University（吉林大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出LinCa框架，通过可学习可逆网络分解缓存特征并差异化预测，仅需少量额外参数即可在5-7倍加速下使扩散模型保持近无损质量，性能优于现有方法。

Comments Accepted to ECCV 2026. 28 pages including appendix. Code: https://github.com/QHR69/LinCa

SPVC: Structured and Panoptic Video Fixing for Cross-Dataset Driving Scene Rendering

SPVC：面向跨数据集驾驶场景渲染的结构化全景视频修复

Gen Li, Shu Han, Yun Xi Qiao, Hua Chen, Xuyang Dai, Bohan Li, Hao Zhao, Chaojian Li

机构 * Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Zhejiang University（浙江大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Great Wall Motor Company Limited（长城汽车股份有限公司） ； Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出SPVC框架，通过结构化、全景、视频及跨数据集修复原则，训练两阶段可控视频扩散模型，解决驾驶场景渲染的伪影问题，实现跨数据集的高效修复。

Comments Project page: https://li00147.github.io/SPVC-Project-Page/

Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

为文本-音频-视频模型添加带单个零初始化层的语音克隆功能

Ivan Mikheev, Viacheslav Vasilev, Anna Dmitrienko, Alexey Letunovskiy, Ivan Kirillov, Kirill Chernyshev, Denis Dimitrov

机构 * Kandinsky Lab（坎丁斯基实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.MM

AI总结 本文在基础文本-音频-视频模型上添加单个零初始化线性层，经微调后实现语音克隆，在674个说话人-文本对基准上优于5个基线，且推理时可跳过视频路径提速约30倍。

Rethinking Token-wise Feature Caching: Accelerating Diffusion Transformers with Dual Feature Caching

重新思考逐令牌特征缓存：通过双特征缓存加速扩散Transformer

Chang Zou, Shikang Zheng, Evelyn Zhang, Runlin Guo, Haohang Xu, Zhengyi Shi, Conghui He, Xuming Hu, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； South China University of Technology（南方科技大学） ； Beihang University（北航） ； Huawei Technologies Ltd（华为技术有限公司） ； Shanghai AI Lab（上海人工智能实验室） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文针对逐令牌特征缓存的核心问题提出质疑，提出双特征缓存方法DuCa，在DiT等生成模型上实现了优于现有逐令牌特征缓存的性能。

Journal ref IEEE Transactions on Image Processing, vol. 35, pp. 6211-6220, 2026

PickStyle: Video-to-Video Style Transfer with Context-Style Adapters

PickStyle：基于上下文-风格适配器的视频到视频风格迁移

Soroush Mehraban, Vida Adeli, Jacob Rommann, Kyryl Truskovskyi, Harrison Sanborn, Babak Taati, Cole Clifford

机构 * Pickford AI ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 PickStyle是一种视频到视频风格迁移框架，通过在预训练视频扩散骨干中插入低秩适配器、构建合成训练片段并提出CS-CFG，实现了优于现有基线的视频风格迁移效果。

Comments Accepted to the European Conference on Computer Vision (ECCV) 2026 Workshops

InfiniVerse: Occupancy Guided Unbounded Scene Generation for Autonomous Driving

InfiniVerse: 面向自动驾驶的占用引导无界场景生成

Xiaoyu Ye, Leheng Li, Xinyu Ji, Yingjie Cai, Hongda He, Xu Yan, Guanyi Zhao, Ying-Cong Chen, Bingbing Liu, Shuguang Cui, Zhen Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Nanyang Technological University（南洋理工大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出InfiniVerse统一框架，通过3D占用表示和视频扩散模型实现从单帧到长距离、2D-3D对齐的动态城市场景可控生成，在Waymo和nuScenes上达到SOTA。

Comments Paper accepted as poster at ECCV workshop SPAD

SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation

SNM-VFI：对称非线性运动引导的生成式视频帧插值

Jisoo Jeong, Hong Cai, Jamie Menjay Lin, Hanno Ackermann, Hyeonjun Sim, Yinhao Zhu, Yunxiao Shi, Fatih Porikli

机构 * Qualcomm（高通公司） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出无需训练的SNM-VFI框架，结合预训练光流与视频扩散模型，用对称非线性运动模型引导生成过程，经多基准评估实现了优质视频帧插值效果。

Comments ECCVW 2026

From Local Mismatch to Global Impact: Optimizing Cache Reuse Policy for Efficient Diffusion

从局部失配到全局影响：优化缓存重用策略以实现高效扩散模型

Xichen Ye, Yifan Wu, Zhikang Xie, Xiangyu Yue, Cheng Jin, Weizhong Zhang

机构 * Faculty of Engineering, The Chinese University of Hong Kong（香港中文大学工程学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对扩散模型缓存策略与生成质量失配问题，提出GCache双层优化框架，在Wan2.1模型上实现2.17倍加速且LPIPS降至0.0316，性能优于现有缓存策略。

LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time

LiveAnimate：稳定的长时长流驱动人体动画实时生成系统

Yuxuan Zhang, Haozhong Xiong, Yubo Huang, Jiayi Song, Jinpeng Yu, Haofan Wang, Jiaming Liu, Ruihua Huang, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Qwen Applications Business Group of Alibaba（阿里巴巴通义千问应用业务组） ； Liblib AI 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 LiveAnimate基于14B参数视频DiT，经两阶段训练结合PR-Sink等设计，实现19.63 FPS长时长流人体动画生成，兼顾实时性、质量与稳定性，优于现有系统。

Generative Video Compression Based on Hierarchical Referencing

基于分层参考的生成式视频压缩

Daowen Li, Ding Ding, Zifu Zhang, Kai Li, Ying Chen

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出基于分层参考的生成式视频压缩方法GVCHR，通过分层结构优化潜在编码与生成重建，在多个基准数据集上较现有最优方法实现LPIPS和DISTS指标下50.5%、54.0%的BD-rate增益，视觉质量显著提升。

Bridging Event Streams and DiT: Event-Guided Video Frame Interpolation

连接事件流与DiT：事件引导的视频帧插值

Guixu Lin, Yuyang Yu, Xiang Ji, Linyao Chen, Zhengwei Yin, Mengshun Hu, Mingdeng Cao, Shengfeng He, Yinqiang Zheng

机构 * The University of Tokyo（东京大学） ； South China University of Technology（华南理工大学） ； Wuhan University（武汉大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出基于适配器的框架，将事件衍生提示融入预训练图像转视频扩散模型，利用IWEs与双向稀疏光流引导生成，提升视频帧插值质量，效果优于现有SOTA方法。

Comments https://joseph-lin-tech.github.io/BridgeEventDiT-VFI/

TC-Padé: Trajectory-Consistent Padé Approximation for Diffusion Acceleration

TC-Padé：轨迹一致的Padé近似用于扩散加速

Benlei Cui, Shaoxuan He, Bukun Huang, Zhizeng Ye, Yunyun Sun, Longtao Huang, Hui Xue, Yang Yang, Jingqun Tang, Zhou Zhao, Haiwen Hong

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； Zhejiang Gongshang University（浙江工商大学） ； ByteDance Intelligent Creation（字节跳动智能创作） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 提出轨迹一致的Padé近似方法，通过有理函数建模特征演变，实现低步数下的高效扩散模型加速。

Comments CVPR 2026

Beyond Pixels: From Video Priors to 4D Worlds

超越像素：从视频先验到4D世界

Zihao Liu, Xiaolong Shen, Zhenglin Zhou, Ruijie Quan, Yi Yang

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出Latent-to-4D方法，利用共享VAE的视频模型去噪潜在变量作为接口实现4D生成，在两个数据集上的DINO-F1指标优于对比方法，且受人类评估者认可。

Comments Project page: https://hayd-zju.github.io/Beyond-Pixels

Learning How the World Evolves: Extrapolative Video World Models via Latent Dynamics Reasoning

学习世界如何演化：基于潜动态推理的外推视频世界模型

Haodong Li, Shaoteng Liu, Tianyu Wang, Chongjian Ge, Sihui Ji, Jiahan Zhang, Xin Lin, Haolin Lu, Zhe Lin, Manmohan Chandraker

机构 * UCSD（加利福尼亚大学圣迭戈分校） ； Adobe（奥多比公司） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 针对主流视频扩散模型未建模像素时间转换的问题，提出LDR方法，在PhyWorld基准上实现更优动态外推，参数更少、速度更快，是首个能泛化至训练分布外的视频世界模型

Comments Project page: https://lat-dyn-reason.github.io/

GeoRoute: Geometry-Aware Hybrid Inference for Traffic Future-Frame Prediction

GeoRoute：面向交通未来帧预测的几何感知混合推理方法

Khang Minh Le, Hieu Dinh Trung Pham, Luu Thanh Danh, Nam-Tien Le, Hieu Anh Ngo, Phuong Huu Vu Tran, Son Nguyen Minh Le, Nguyen Trong Nghia, Tu Tran Thi Cam, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

机构 * Vietnamese-German University（越南-德国大学） ； University of Science, Ho Chi Minh City（胡志明市科学大学） ； Ho Chi Minh City University of Technology（胡志明市技术大学） ； University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 GeoRoute是一种无需训练的几何感知混合推理框架，通过多帧深度分层渲染器和视角条件选择预测器，在AI City Challenge Track 5基准上实现了具有竞争力的交通未来帧预测性能，提升了静态几何稳定性。

Comments accepted to the ECCV 2026 AI City Challenge Workshop

InstructionCrafter: Generating Consistent and High-Fidelity Visual Instructions

InstructionCrafter：生成一致且高保真的视觉指令

Shun Okamoto, Satoshi Iizuka, Kazuhiro Fukui

机构 * University of Tsukuba（筑波大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本研究提出基于扩散的InstructionCrafter框架，通过空间冻结训练和两种适配器优化，实现了文本到分步视觉指令的生成，在多基准数据集上达成了最优性能且减少了噪声等问题，代码和模型将公开。

BRACE: Taming Sharp Irregularities via Barycentric Rational Forecasting for Fast Diffusion Transformers Inference

BRACE：利用重心有理预测控制快速扩散Transformer推理中的尖锐不规则性

Jinlong Yang, Jinke Wu, Lizilin, Yao Zhou

机构 * Sichuan University（四川大学） ； School of Artificial Intelligence, Sichuan University（四川大学人工智能学院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本研究针对扩散Transformer（DiTs）高加速推理时的质量下降问题，提出带切比雪夫增强的重心有理预测方法BRACE，通过特征驱动的有理预测实现最优质量-效率权衡，且计算开销极低。

Comments 10 pages, 6 figures, 5 tables. Project page: https://youngkinlon.github.io/BRACE-Taming-Sharp-Irregularities-via-Barycentric-Rational-Forecasting-for-Fast-DiT-Inference/

Predict to Skip: Linear Multistep Feature Forecasting for Efficient Diffusion Transformers

预测以跳过：线性多步特征预测用于高效的扩散变换器

Hanshuai Cui, Zhiqing Tang, Qianli Ma, Zhi Yao, Weijia Jia, Wei Zhao

机构 * School of Artificial Intelligence, Beijing Normal University, Beijing 100875, China（人工智能学院，北京师范大学，北京） ； Institute of Artificial Intelligence（人工智能研究所） ； Future Networks, Beijing Normal University, Zhuhai 519087, China（未来网络，北京师范大学，珠海） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 PrediT通过线性多步特征预测方法，在不训练的情况下加速扩散变换器，实现显著的延迟降低同时保持生成质量。

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

面向不确定性引导的扩散模型后训练的样本自适应潜在奖励

Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出\textsc{SURE}框架，含\textsc{SURE-LRM}与\textsc{SURE-REFL}，通过样本自适应潜在奖励与不确定性引导反馈优化扩散模型，在偏好预测、SOTA性能及VBench指标上表现优异。

From Understanding to Erasing: Towards Complete and Stable Video Object Removal

从理解到擦除：迈向完全且稳定的视频对象移除

Dingming Liu, Wenjing Wang, Chen Li, Jing Lyu, Haotian Dong

机构 * Peking University（北京大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出通过外部和内部指导机制，结合视觉基础模型与视频扩散模型，提升视频对象移除的物理和语义理解能力，实现清晰且连贯的移除效果，并建立首个真实世界基准测试。

Comments Code: https://github.com/WeChatCV/UnderEraser

Seeking Physics in Diffusion Noise

在扩散噪声中寻求物理规律

Chujun Tang, Lei Zhong, Fangqiang Ding

机构 * Brown University（布朗大学） ； University of Edinburgh（爱丁堡大学） ； MIT（麻省理工学院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 研究通过分析预训练扩散变换器的中间去噪表示，发现物理合理与不合理视频在中层特征空间部分可分离，提出渐进轨迹选择策略提升物理一致性并降低推理成本。

Comments 15 pages

Place-it-R1: Unlocking Environment-aware Reasoning Potential of MLLM for Video Object Insertion

Place-it-R1: 解锁多模态大语言模型在视频物体插入中的环境感知推理潜力

Bohai Gu, Taiyi Wu, Dazhao Du, Jian Liu, Shuai Yang, Xiaotong Zhao, Alan Zhao, Song Guo

机构 * HKUST（香港科技大学） ； Tencent Video（腾讯视频） ； Peking University（北京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 Place-it-R1通过多模态大语言模型的环境感知推理能力，实现物理一致的视频物体插入，提供两种模式以平衡保真度与合理性。

Comments https://nevsnev.github.io/Place-it-R1/

MeSS: City Mesh-Guided Outdoor Scene Generation with Cross-View Consistent Diffusion

MeSS: 基于城市网格的户外场景生成与跨视角一致扩散

Xuyang Chen, Zhijun Zhai, Kaixuan Zhou, Zengmao Wang, Jianan He, Dong Wang, Yanfeng Zhang, mingwei Sun, Rüdiger Westermann, Konrad Schindler, Liqiu Meng

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 MeSS通过改进跨视角一致性，利用城市网格模型生成高质量且风格一致的户外场景，并结合3D高斯点划重建技术提升生成质量。

ARGen: Affect-Reinforced Generative Augmentation towards Vision-based Dynamic Emotion Perception

ARGen：基于情感强化的生成增强方法用于基于视觉的动态情绪感知

Huanzhen Wang, Ziheng Zhou, Jiaqi Song, Li He, Yunshi Lan, Yan Wang, Wenqiang Zhang

机构 * Fudan University（复旦大学） ； East China Normal University（华东师范大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出ARGen框架，通过情感语义注入和自适应强化扩散阶段，解决野外动态表情识别中的数据稀缺问题，提升情绪感知的生成质量和识别性能。

Mirror Learning

镜像学习

Yunpeng Liu, Matthew Niedoba, Oluwanifemi A. Adekanye, Jason Yoo, Yingchen He, Berend Zwartsenberg, Frank Wood

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Inverted AI ； Amii 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 该研究提出镜像学习框架，通过视频扩散模型的视角变换与逆动力学模型合成镜像数据，用其增强行为克隆训练可提升策略性能，为数据收集提供替代方案。

TRACE: High-Fidelity 3D Scene Editing via Tangible Reconstruction and Geometry-Aligned Contextual Video Masking

TRACE：通过可触觉重建和几何对齐的上下文视频遮罩实现高保真的3D场景编辑

Jiyuan Hu, Zechuan Zhang, Zongxin Yang, Yi Yang

机构 * ReLER Lab, CCAI, Zhejiang University（浙江大学计算机辅助设计与图形学全国重点实验室（CCAI）ReLER实验室） ； DBMI, HMS, Harvard University（哈佛大学医学院生物医学信息学系（DBMI）） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 TRACE通过可触觉重建和几何对齐的上下文视频遮罩，实现高保真的3D场景编辑，解决了现有方法在局部姿态调整和组件替换时结构完整性不足的问题。

Comments 9 pages, 9 figures

Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers

Chimera：设计与遵循Chinchilla缩放规律的混合视觉扩散Transformer

Chongjian Ge, Hanwen Jiang, Tianyu Wang, Jiuxiang Gu, Yiran Xu, Ziwen Chen, Shaoteng Liu, Jing Shi, Yicong Hong, Zefan Cai, Hailin Jin, Hao Tan

机构 * Adobe Research（奥多比研究院） 纠错

专题命中 视频扩散模型 ：long video(abstract)；分类 cs.CV

AI总结 Chimera是一款混合视觉扩散骨干网络，结合KDA、MLA等模块与HeteroP缩放方案，训练出11B参数（2B激活）的模型，在计算效率、视频泛化等方面优于基线，为长上下文扩散架构设计提供基础。

Comments 40 pages

Articulated Object Reconstruction from Rest-State Observation

从静止状态观测的关节对象重建

Daeun Lee, Jaeah Lee, Woosung Kim, Haebeom Jung, Jaesik Park

机构 * Seoul National University（首尔大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 该研究针对需多关节状态运动观测的现有关节对象重建方法的局限，提出从单一静止闭合配置重建关节对象的方法，通过显式网格融合多模型输出，结合视频扩散模型实现无运动观测下的关节参数估计，性能与多种基线相当。

Comments ECCV 2026

I2VShield: An Efficient Proactive Defense Framework against DiT-based Image-to-Video Models

I2VShield：一种针对基于DiT的图像到视频模型的高效主动防御框架

Yimao Guo, Zuomin Qu, Wei Lu

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 针对I2V模型被滥用问题，提出I2VShield主动防御框架。其包含文本自适应扰动生成框架和非目标多模态注意力干扰攻击两部分。该方法在多数据集和模型上保护性能优，能破坏时空连贯性且降低计算成本。