视频大模型

Boundary-Protection W8A8 HiFloat8 Quantization for Large-Scale Text-to-Video Diffusion Transformers

面向大规模文生视频扩散Transformer的边界保护W8A8 HiFloat8量化

Yiming Zhao

机构 * Yiming Zhao（赵毅铭） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；text-to-video(title,abstract)；分类 cs.CV

AI总结 针对Wan2.1-T2V-14B模型，提出一种边界保护策略的W8A8 HiF8后训练量化方法，通过保留首尾边界块为BF16而量化中间块，在VBench五个维度上匹配或略优于BF16基线。

Comments 6 pages, 5 figures. Accepted to ICME 2026 Grand Challenge

Towards 3D-Aware Video Diffusion Models: Render-Free Human Motion Control with Mesh Tokenization

迈向3D感知视频扩散模型：基于网格标记化的无渲染人体运动控制

Jingyun Liang, Min Wei, Shikai Li, Yizeng Han, Hangjie Yuan, Lei Sun, Weihua Chen, Fan Wang

机构 * DAMO Academy, Alibaba Group（阿里巴巴集团大模型实验室） ； Hupan Lab（虎盘实验室） ； Zhejiang University（浙江大学） ； INSAIT 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；分类 cs.CV、eess.IV

AI总结 提出一种无渲染框架，通过压缩的3D人体网格标记直接条件化视频生成，实现精确的人体运动控制，减少2D引导伪影并提升3D结构建模能力。

Comments Project page: https://jingyunliang.github.io/MeshToken/

Collaborative Few-Step Distillation and Low-Bit Quantization for Wan2.2 Dual-Expert Video Diffusion Models

Wan2.2双专家视频扩散模型的协同少步蒸馏与低位量化

Jinyang Du, Shenghao Jin, Ziqian Xu, Ruihao Gong, Shiqiao Gu, Yang Yong, Jinyang Guo, Xianglong Liu

机构 * IEEE ICME 2026 ； GCC Low-Bit-width Large Model Quantization Challenge（GCC 低精度大模型量化挑战） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 针对Wan2.2-T2V-A14B视频扩散模型，提出结合少步分布匹配蒸馏与低位量化的部署压缩流程，通过双专家去噪分支校准、敏感层保护及HiF4低位表示，在保持质量的同时降低计算开销。

Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion

Real2SAM2Real: 生成式3D缓存作为视频扩散的互补上下文

Jiayi Wu, Haoming Cai, Cornelia Fermuller, Christopher Metzler, Yiannis Aloimonos

机构 * University of Maryland（马里兰大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Real2SAM2Real框架，通过3D提升模型提取可编辑的3D缓存作为几何支架，结合软空间对齐注入和微调策略，实现视频扩散模型对相机轨迹和多实体运动的精确解耦控制。

GSV3D: Gaussian Splatting-based Geometric Distillation with Stable Video Diffusion for Single-Image 3D Object Generation

GSV3D: 基于高斯溅射的几何蒸馏与稳定视频扩散用于单图像3D物体生成

Ye Tao, Jiawei Zhang, Yahao Shi, Dongqing Zou, Bin Zhou

机构 * State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学） ； SenseTime Research（商汤科技研究院） ； PBVR 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 提出一种结合2D扩散模型隐式3D推理能力与高斯溅射几何蒸馏的方法，通过高斯溅射解码器将SV3D潜变量输出转换为显式3D表示，实现多视图一致性和高质量3D生成。

Coarse-to-Fine Compositional Diffusion for Long-Horizon Planning

粗到细的组合扩散用于长时域规划

Byoungwoo Park, Utkarsh A. Mishra, Jaemoo Choi, Juho Lee, Yongxin Chen

机构 * KAIST（韩国科学技术院） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；long video(abstract)

AI总结 提出Coarse-to-Fine Compositional Diffusion (CoFi)方法，通过先形成全局骨架再细化局部细节，在长时域机器人规划、全景图像生成和长视频生成中提升全局一致性和局部质量，同时减少2-8倍去噪评估次数。

Comments Project page: https://cofi-diffusion.github.io

Turing Patterns for Multimedia: Reaction-Diffusion Multi-Modal Fusion for Language-Guided Video Moment Retrieval

图灵模式用于多媒体：反应-扩散多模态融合用于语言引导的视频时刻检索

Xiang Fang, Wanlong Fang, Wei Ji, Tat-Seng Chua

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频扩散模型 ：video-language(abstract)；分类 cs.CV、cs.MM

AI总结 提出基于反应-扩散过程的多模态融合框架RDMF，通过模拟生物模式形成机制实现视频与文本的动态对齐，用于视频时刻检索与高亮检测。

Comments Published in ACM MM 2025. Address some typos

RoboDream: Compositional World Models for Scalable Robot Data Synthesis

RoboDream: 用于可扩展机器人数据合成的组合世界模型

Junjie Ye, Rong Xue, Basile Van Hoorick, Runhao Li, Harshitha Rajaprakash, Pavel Tokmakov, Muhammad Zubair Irshad, Vitor Guizilini, Yue Wang

机构 * USC Physical Superintelligence (PSI) Lab（USC物理超智能实验室） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出一种以具身为中心的组合世界模型，通过将轨迹执行与环境合成解耦，实现从新视角、新场景和新物体中合成逼真演示数据，并展示其在数据扩展和减少真实数据需求方面的有效性。

Comments Project page: https://junjieye.com/RoboDream/

Effective Multi-sensor Conditioning for Street-view Novel-view Synthesis

面向街景新视角合成的有效多传感器条件控制

Zhengfei Kuang, Adam Sun, Liyuan Zhu, Tong Wu, Shengqu Cai, Jonathan Tremblay, Iro Armeni, Ehsan Adeli, Lior Yariv, Gordon Wetzstein

机构 * Stanford Univerity（斯坦福大学） ； NVIDIA 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出StreetNVS视频扩散框架，通过参考增强相机注意力模块和相对射线级位置编码联合利用LiDAR、环视图像和相机位姿，实现稀疏LiDAR条件下的高质量街景新视角合成。

SKIP: Sparse Keyframe Interpolation Paradigm for Efficient Embodied World Models

SKIP: 用于高效具身世界模型的稀疏关键帧插值范式

Ziheng He, Yixiang Chen, Ning Yang, Zhanqian Wu, Qisen Ma, Yuan Xu, Jiabing Yang, Peiyan Li, Xiangnan Wu, Xiaofeng Wang, Zheng Zhu, Jing Liu, Nianfeng Liu, Yan Huang

机构 * UCAS（中国科学院自动化研究所） ； CASIA（中国科学院自动化研究所） ； NJU（南京大学） ； GigaAI ； THU（清华大学） ； FiveAges 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出稀疏关键帧插值范式(SKIP)，通过识别任务相关关键帧并仅生成这些帧，再基于机器人动作插值缺失帧，实现高效视频生成，在LIBERO上速度提升4.16倍，FVD降低89%，且生成视频作为训练数据时策略性能下降极小。

Comments 25 pages, 10 figures

Stable Velocity: A Variance Perspective on Flow Matching

稳定速度：流匹配的方差视角

Donglin Yang, Yongxing Zhang, Xin Yu, Liang Hou, Xin Tao, Pengfei Wan, Xiaojuan Qi, Renjie Liao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频扩散模型 ：text-to-video(abstract)；分类 cs.CV

AI总结 针对流匹配中单样本条件速度导致的高方差训练目标，提出稳定速度框架，通过方差表征识别高低方差区域，并引入无偏方差缩减目标（StableVM）、方差感知表示对齐（VA-REPA）以及免微调加速采样（StableVS），在多个大规模模型上实现训练效率提升和超过2倍采样加速。

Comments ICML 2026