视频大模型

Generating Humanless Environment Walkthroughs from Egocentric Walking Tour Videos

从第一人称行走游览视频生成无人类环境 walkthroughs

Yujin Ham, Junho Kim, Vivek Boominathan, Guha Balakrishnan

机构 * Rice University（莱斯大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出一种生成算法，通过去除行走视频中的人和阴影效果，提升环境建模应用，使用半合成数据集训练Casper模型，实现高质量的无人类视频生成，进而构建三维/四维城市模型。

JoyStreamer-Flash: Real-time and Infinite Audio-Driven Avatar Generation with Autoregressive Diffusion

JoyStreamer-Flash: 基于自回归扩散的实时和无限音频驱动化身生成

Chaochao Li, Ruikui Wang, Liangbo Zhou, Jinheng Feng, Huaishao Luo, Huan Zhang, Youzheng Wu, Xiaodong He

机构 * JD Technology（京东科技） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出JoyStreamer-Flash，一种能实现实时推断和无限长度视频生成的音频驱动自回归模型，通过渐进式步进 bootstrap、运动条件注入和无界RoPE via Cache-Resetting提升生成质量与一致性。

LightMover: Generative Light Movement with Color and Intensity Controls

LightMover：具有颜色和强度控制的生成式光移动

Gengze Zhou, Tianyu Wang, Soo Ye Kim, Zhixin Shu, Xin Yu, Yannick Hold-Geoffroy, Sumit Chaturvedi, Qi Wu, Zhe Lin, Scott Cohen

机构 * AIML, Adelaide University（阿德莱德大学机器学习研究所） ； Adobe Research（Adobe研究院） ； University of Hong Kong（香港大学） ； Yale University（耶鲁大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 LightMover通过视频扩散先验生成单图像中可控的光照变化，统一处理空间和外观控制，提升操控与光照理解，并引入自适应令牌修剪机制，减少控制序列长度41%同时保持编辑保真度。

Comments CVPR 2026. 10 pages, 5 figures, 6 tables in main paper; supplementary material included

StreamAvatar: Streaming Diffusion Models for Real-Time Interactive Human Avatars

StreamAvatar：用于实时交互人类分身的流式扩散模型

Zhiyao Sun, Ziqiao Peng, Yifeng Ma, Yi Chen, Zhengguang Zhou, Zixiang Zhou, Guozhen Zhang, Youliang Zhang, Yuan Zhou, Qinglin Lu, Yong-Jin Liu

机构 * Tsinghua University（清华大学） ； Renmin University of China（中国人民大学） ； Tencent Hunyuan（腾讯混元） ； Nanjing University（南京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出一种两阶段自回归适应与加速框架，通过自回归蒸馏和对抗性细化，使高保真人类视频扩散模型适用于实时交互流式生成，实现自然对话与倾听行为。

Comments Accepted by CVPR 2026. Project page: https://streamavatar.github.io

ByteLoom: Weaving Geometry-Consistent Human-Object Interactions through Progressive Curriculum Learning

ByteLoom: 通过渐进课程学习编织几何一致的人-物体交互

Bangya Liu, Xinyu Gong, Zelin Zhao, Ziyang Song, Yulei Lu, Suhui Wu, Jun Zhang, Suman Banerjee, Hao Zhang

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； ByteDance（字节跳动） ； Georgia Institute of Technology（佐治亚理工学院） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出ByteLoom框架，通过简化的人类条件和3D物体输入生成几何一致的人-物体交互视频，解决多视角信息注入和手部网格标注依赖的问题。

Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep

通过异构缓存加速基于扩散的视频编辑：超越采样去噪时间步的全计算

Tianyi Liu, Ye Lu, Linfeng Zhang, Chen Cai, Jianjun Gao, Yi Wang, Kim-Hui Yap, Lap-Pui Chau

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出HetCache框架，通过利用扩散基于掩码视频到视频生成中的异构性，减少冗余注意力运算，提升视频编辑效率与质量。

Comments 10 pages, 6 figures, accepted by CVPR2026

Fast3Dcache: Training-free 3D Geometry Synthesis Acceleration

Fast3Dcache: 无训练3D几何合成加速

Mengyu Yang, Yanming Yang, Chenyi Xu, Chenxi Song, Yufan Zuo, Tong Zhao, Ruibo Li, Chi Zhang

机构 * AGI Lab, Westlake University（西溪大学AGI实验室） ； University of Electronic Science and Technology of China（电子科学与技术大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出Fast3Dcache，一种无训练的几何感知缓存框架，通过动态缓存调度和时空稳定性准则，显著加速3D扩散模型推理，同时保持几何精度。

Comments Accepted by CVPR 2026; Project page: https://fast3dcache-agi.github.io

Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction

Gen3R：3D场景生成与前馈重建的结合

Jiaxin Huang, Yuanbo Yang, Bangbang Yang, Lin Ma, Yuewen Ma, Yiyi Liao

机构 * Zhejiang University（浙江大学） ； ByteDance Project（字节跳动项目） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 Gen3R通过结合基础重建模型的强先验与视频扩散模型，实现3D场景生成，生成RGB视频及3D几何数据，实验显示其在单图和多图条件下达到SOTA结果。

Comments Project page: https://xdimlab.github.io/Gen3R/

Taming Video Models for 3D and 4D Generation via Zero-Shot Camera Control

通过零样本相机控制驯服视频模型以实现3D和4D生成

Chenxi Song, Yanming Yang, Tong Zhao, Ruibo Li, Chi Zhang

机构 * AGI Lab, Westlake University（西溪大学AGI实验室） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出WorldForge框架，通过推理时的三重组件实现零样本3D/4D生成，解决视频扩散模型在空间任务中的控制不足问题，提升视觉真实性与轨迹一致性。

Comments Accepted to CVPR 2026. Project Webpage: https://worldforge-agi.github.io/

World Reconstruction From Inconsistent Views

从不一致视角重建世界

Lukas Höllein, Matthias Nießner

机构 * Technical University of Munich, Germany（慕尼黑技术大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出一种非刚性对齐方法，通过全局一致坐标框架生成清晰点云，提升视频扩散模型在3D世界重建中的性能。

Comments project website: https://lukashoel.github.io/video_to_world video: https://www.youtube.com/watch?v=qXnUwhVmBzA code: https://github.com/lukasHoel/video_to_world

WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation

WorldCam: 交互式自回归3D游戏世界与相机姿态作为统一的几何表示

Jisu Nam, Yicong Hong, Chun-Hao Paul Huang, Feng Liu, JoungBin Lee, Jiyoung Kim, Siyoon Jin, Yunsung Lee, Jaeyoon Jung, Suhwan Choi, Seungryong Kim, Yang Zhou

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出WorldCam，通过将相机姿态作为统一的几何表示，解决交互式游戏世界中动作控制与长时序3D一致性问题，结合物理连续动作空间和全局相机姿态索引提升导航与视觉质量。

Comments Project page is available at https://cvlab-kaist.github.io/WorldCam/

VideoMatGen: PBR Materials through Joint Generative Modeling

VideoMatGen：基于联合生成模型的PBR材质

Jon Hasselgren, Zheng Zeng, Milos Hasan, Jacob Munkberg

机构 * NVIDIA 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出基于视频扩散变压器架构的方法，通过输入几何和文本描述联合生成物理合理的PBR材质，包含基础颜色、粗糙度、金属度和高度图等属性。

AnyCrowd: Instance-Isolated Identity-Pose Binding for Arbitrary Multi-Character Animation

AnyCrowd：实例隔离的身份-姿态绑定用于任意多角色动画

Zhenyu Xie, Ji Xia, Michael Kampffmeyer, Panwen Hu, Zehua Ma, Yujian Zheng, Jing Wang, Zheng Chong, Xujie Zhang, Xianhang Cheng, Xiaodan Liang, Hao Li

机构 * Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） ； University of Tromsø (UiT) – The Arctic University of Norway, Norway（特罗姆瑟大学（UiT）——挪威北极大学，挪威） ； Shenzhen campus of Sun Yet-sen University, China（孙中山大学深圳校区，中国） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出AnyCrowd框架，通过实例隔离潜在表示和三阶段解耦注意力机制，解决多角色动画中身份与姿态绑定不一致的问题，提升生成视频的可控性与一致性。

Faster Inference of Flow-Based Generative Models via Improved Data-Noise Coupling

通过改进的数据-噪声耦合实现流基生成模型的更快推理

Aram Davtyan, Leello Tadesse Dadi, Volkan Cevher, Paolo Favaro

机构 * University of Bern（伯尔尼大学） ； EPFL（苏黎世联邦理工学院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出LOOM-CFM方法，通过优化 minibatch OT 跨 minibatch 的 assignments，提升流基生成模型在样本速度与质量间的平衡，支持高分辨率潜在空间合成和蒸馏初始化。

Comments Patched from ICLR2025. Code: https://github.com/araachie/loom-cfm

GA-Drive: Geometry-Appearance Decoupled Modeling for Free-viewpoint Driving Scene Generation

GA-Drive：用于自由视角驾驶场景生成的几何-外观解耦建模

Hao Zhang, Lue Fan, Qitai Wang, Wenbo Li, Zehuan Wu, Lewei Lu, Zhaoxiang Zhang, Hongsheng Li

机构 * MMLab, CUHK（CUHK的MMLab） ； CASIA ； Shanghai Jiaotong University（上海交通大学） ； SenseTime Research（商汤科技研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 GA-Drive通过几何-外观解耦和扩散生成技术，生成可编辑的高保真驾驶场景，提升自动驾驶训练和评估的效率与效果。

DVD: Deterministic Video Depth Estimation with Generative Priors

DVD：利用生成先验的确定性视频深度估计

Hongfei Zhang, Harold Haodong Chen, Chenfei Liao, Jing He, Zixin Zhang, Haodong Li, Yihao Liang, Kanghao Chen, Bin Ren, Xu Zheng, Shuai Yang, Kun Zhou, Yinchuan Li, Nicu Sebe, Ying-Cong Chen

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 DVD通过确定性方法将预训练视频扩散模型转化为单次通过深度回归器，解决视频深度估计中的生成与判别模型权衡问题，实现零样本性能提升并释放开源训练套件。

Comments Project: https://dvd-project.github.io/

GeoDiff4D: Geometry-Aware Diffusion for 4D Head Avatar Reconstruction

GeoDiff4D: 基于几何的扩散模型用于4D头像重建

Chao Xu, Xiaochen Zhao, Xiang Deng, Jingxiang Sun, Donglin Di, Zhuo Su, Yebin Liu

机构 * Tsinghua University（清华大学） ； Li Auto（利亚自动） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 GeoDiff4D通过几何感知扩散模型，结合表面法线和表情编码器，实现了高保真的4D头像重建，提升了视觉质量和跨身份泛化能力。

Comments 17 pages

ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA

ID-LoRA：基于身份的音频视频个性化与上下文LoRA

Aviad Dahan, Moran Yanuka, Noa Kraicer, Lior Wolf, Raja Giryes

机构 * Tel Aviv University（特拉维夫大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 ID-LoRA通过联合生成音频和视频实现身份驱动的个性化，利用上下文LoRA技术在单次生成过程中提升语音与视觉的一致性。

TDM-R1: Reinforcing Few-Step Diffusion Models with Non-Differentiable Reward

TDM-R1: 通过非可微奖励强化少步扩散模型

Yihong Luo, Tianyang Hu, Weijian Luo, Jing Tang

机构 * Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； hi-Lab, Xiaohongshu Inc（小红书实验室） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 TDM-R1通过非可微奖励强化少步扩散模型，提升文本到图像生成性能

Comments https://luo-yihong.github.io/TDM-R1-Page/

Denoising as Path Planning: Training-Free Acceleration of Diffusion Models with DPCache

去噪作为路径规划：通过DPCache实现扩散模型的训练免费加速

Bowen Cui, Yuanbin Wang, Huajiang Xu, Biaolong Chen, Aixi Zhang, Hao Jiang, Zhengzheng Jin, Xu Liu, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 DPCache通过全局路径规划框架实现扩散模型的高效加速，减少计算开销并提升生成质量。

Comments Accepted by CVPR 2026

Frequency-Aware Error-Bounded Caching for Accelerating Diffusion Transformers

面向频率的误差有界缓存用于加速扩散变换器

Guandong Li

机构 * iFLYTEK 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 SpectralCache通过统一缓存框架提升扩散变换器推理速度，实现2.46倍加速，质量与TeaCache相当。

Track Anything Behind Everything: Zero-Shot Amodal Video Object Segmentation

在一切之后跟踪任何东西：零样本无遮挡视频对象分割

Finlay G. C. Hudson, William A. P. Smith

机构 * Department of Computer Science University of York（计算机科学系约克大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 TABE通过单个查询掩码实现零样本无遮挡视频对象分割，利用预训练视频扩散模型进行生成补全，无需重新训练模型即可处理完全遮挡场景。

Orthogonal Spatial-temporal Distributional Transfer for 4D Generation

正交时空分布式转移用于4D生成

Wei Liu, Shengqiong Wu, Bobo Li, Haoyu Zhao, Hao Fei, Mong-Li Lee, Wynne Hsu

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 本文提出正交时空分布式转移机制，通过解耦空间和时间潜在变量提升4D生成的质量和一致性。

Comments 9 pages, 6 figures, 3 tables, AAAI

NeuralRemaster: Phase-Preserving Diffusion for Structure-Aligned Generation

NeuralRemaster: 保留相位的扩散用于结构对齐生成

Yu Zeng, Charles Ochoa, Mingyuan Zhou, Vishal M. Patel, Vitor Guizilini, Rowan McAllister

机构 * Toyota Research Institute（丰田研究院） ； University of Texas, Austin（德克萨斯大学奥斯汀分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 NeuralRemaster通过保留相位并随机化幅度，实现结构对齐的图像和视频生成，提升模拟到现实的转换性能。

ArtHOI: Articulated Human-Object Interaction Synthesis by 4D Reconstruction from Video Priors

ArtHOI: 通过视频先验进行4D重建的可变形人-物交互合成

Zihao Huang, Tianqi Liu, Zhaoxi Chen, Shaocong Xu, Saining Zhang, Lixing Xiao, Zhiguo Cao, Wei Li, Hao Zhao, Ziwei Liu

机构 * School of AIA, Huazhong University of Science and Technology（华中科技大学人工智能学院） ； the S-Lab, Nanyang Technological University (NTU)（南洋理工大学S实验室） ； the Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） ； Zhejiang University (ZJU)（浙江大学） ； the Institute for AI Industry Research (AIR), Tsinghua University (THU)（清华大学人工智能产业研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 ArtHOI通过4D重建从视频先验生成可变形人-物交互，提升接触精度和物理合理性。

Comments Project Page: https://arthoi.github.io/

MatPedia: A Universal Generative Foundation for High-Fidelity Material Synthesis

MatPedia: 一种通用生成基础，用于高保真材料合成

Di Luo, Shuhui Yang, Mingxin Yang, Jiawei Lu, Yixuan Tang, Xintong Han, Zhuo Chen, Beibei Wang, Chunchao Guo

机构 * Nankai University（南开大学） ； Tencent Hunyuan（腾讯文言） ； Xi’an Jiaotong University（西安交通大学） ； Nanjing University（南京大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 MatPedia是一种基于联合RGB-PBR表示的生成模型，能够统一处理多种材料生成任务，实现高质量的高保真材料合成。

Scaling Laws For Diffusion Transformers

扩散变换器的扩展定律

Zhengyang Liang, Hao He, Ceyuan Yang, Bo Dai

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文研究了扩散变换器的扩展定律，通过实验验证了模型大小、数据需求与计算预算之间的幂律关系，并展示了预训练损失与生成性能的一致性，为模型性能和数据质量评估提供了可预测的基准。

CamDirector: Towards Long-Term Coherent Video Trajectory Editing

CamDirector: 向长期一致的视频轨迹编辑迈进

Zhihao Shi, Kejia Yin, Weilin Wan, Yuhongze Zhou, Yuanhao Yu, Xinxin Zuo, Qiang Sun, Juwei Lu

机构 * McMaster University（麦克 master 大学） ； University of Toronto（多伦多大学） ； The University of Hong Kong（香港大学） ； McGill University（麦吉尔大学） ； Concordia University（Concordia 大学） ； MBZUAI 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 CamDirector通过混合变形方案和历史引导的自回归扩散模型，实现长期一致的视频轨迹编辑，并提出新的VTE基准iPhone-PTZ。

Scale-wise Distillation of Diffusion Models

扩散模型的分层蒸馏

Nikita Starodubcev, Ilya Drobyshevskiy, Denis Kuznedelev, Artem Babenko, Dmitry Baranchuk

机构 * Yandex Research（Yandex研究院） ； HSE University（俄罗斯高等经济大学） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 SwD通过分层蒸馏框架提升扩散模型效率，引入MMD补丁级目标改进收敛性，实现更快采样和更高性能

LiftAvatar: Kinematic-Space Completion for Expression-Controlled 3D Gaussian Avatar Animation

LiftAvatar：基于运动空间的表达控制3D高斯人偶动画

Hualiang Wei, Shunran Jia, Jialun Liu, Wenhui Li

机构 * College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； Institute of Artificial Intelligence of China Telecom（中国电信人工智能研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 LiftAvatar通过多粒度表达控制和多参考条件机制，提升3D人偶动画的质量和可控性。

Comments 19 pages, 11 figures