AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
HairWeaver：基于仿真到现实引导视频扩散的少样本逼真头发运动合成
机构 * Meta University of Southern California（Meta 美国南加州大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 HairWeaver旨在解决现有方法在头发运动控制上的不足，通过运动上下文LoRA和风格对齐LoRA两个模块，结合CG模拟器生成的数据集训练视频扩散主干，实现对头发运动的精细控制，生成高度逼真且具动态细节的头发动画，达到新的技术水平。
Comments Accepted by ECCV 2026. Website: https://boese0601.github.io/hairweaver/
Gen4U：通过扩散统一视频生成与理解
机构 * Google DeepMind（谷歌DeepMind）
专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 研究通过互 kNN 对齐指标揭示视频扩散模型潜在空间特性，引入 Gen4U 框架，该框架能单次前向传递重新利用生成表示，实验表明冻结的大规模视频扩散模型可作视频编码器，Gen4U 统一视频生成与理解范式且保留生成能力。
动态少步长：统一动态计算与少步长蒸馏以实现高效视频生成
机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； BlueImage, vivo（蓝城图像，维沃） ； Xian Jiaotong-Liverpool University（西交利物浦大学）
专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 针对视频扩散模型计算成本高问题，提出将动态结构稀疏化融入蒸馏过程的加速框架，联合优化去噪步骤与模型稀疏性，引入相关策略和机制确保训练稳定，开发推理引擎，有效提升效率且保持生成质量。
奖励闪电：通过同源偏好蒸馏实现快速视频生成
机构 * Tencent Hunyuan（腾讯混元）
专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 研究视频扩散模型中同时进行偏好对齐和蒸馏加速的挑战，提出统一框架Reward Lightning，利用同源原理在共享表示中对齐和加速模型，介绍潜在奖励模型和同源偏好蒸馏，实验证明其有效性。
Comments Accepted by ECCV 2026
DreamShot: 基于视频扩散先验的个性化分镜合成
机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； ByteDance Intelligent Creation（字节跳动智能创作） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 DreamShot通过视频扩散先验实现可控的多镜头合成，支持文本到镜头和参考到镜头生成，提升叙事连贯性和角色一致性。
Comments Accepted by CVPR2026 as a Highlight paper
AnchorDream：将视频扩散用于具身感知机器人数据合成
机构 * Toyota Research Institute（丰田研究院） ； USC Physical Superintelligence (PSI) Lab（USC物理超智能（PSI）实验室）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 针对机器人示范数据收集瓶颈，AnchorDream利用预训练视频扩散模型，通过机器人运动渲染来合成数据，无需环境建模，从少量示范生成多样高质量数据集，提升下游策略学习。
Comments Project page: https://jay-ye.github.io/AnchorDream/
OrbitQuant: 图像和视频扩散Transformer的数据无关量化
机构 * Cantina Labs（Cantina实验室） ； University of Southern California（南加州大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 提出数据无关量化方法OrbitQuant，通过归一化旋转基和Lloyd-Max码本，无需校准数据即可对扩散Transformer的权重和激活进行低比特量化，在多个模型和模态上达到最优。
QWERTY: 通过查询扭曲的视频扩散变换器实现无需训练的运动控制
机构 * Department of Computer Science, Yonsei University（延世大学计算机科学系） ； Department of Artificial Intelligence, Yonsei University（延世大学人工智能系）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出QWERTY框架，通过扭曲查询的语义子空间，在预训练图像到视频扩散变换器中实现无需训练的运动控制，性能接近微调方法。
Comments 37 pages, 18 figures, accepted at the European Conference on Computer Vision (ECCV) 2026
Control-DINO：用于可控图像到视频扩散的特征空间条件
机构 * Huawei Technologies, Switzerland（华为技术（瑞士）） ； Huawei Technologies, Austria（华为技术（奥地利）） ； Graz University of Technology, Austria（格拉茨技术大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 本文提出Control-DINO，通过解耦外观与其他特征，实现对视频扩散模型的可控生成，提升生成渲染的可控性。
Comments ECCV 2026 - Project Page https://dedoardo.github.io/projects/control-dino/
利用视频扩散先验的超低比特率图像压缩的下一帧解码
机构 * Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出一种超低比特率图像压缩新范式，通过定义紧凑锚帧作为中间状态，利用预训练视频扩散模型将解码转化为下一帧预测，在保持语义的同时丢弃高频细节，相比DiffC在CLIC2020上节省超50%比特率并实现5倍解码加速。
Comments Accepted by ECCV 2026
分布混合至关重要：面向高效视频扩散Transformer的动态稀疏注意力
机构 * Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 提出MOD-DiT框架，通过两阶段动态稀疏注意力（利用早期去噪先验和分布混合线性近似预测掩码，结合在线块掩码策略）在无需采样的情况下实现高效视频生成，显著加速并保持质量。
通过自重采样实现自回归视频扩散的端到端训练
机构 * The Chinese University of Hong Kong（香港中文大学） ； ByteDance Seed（字节跳动Seed） ； ByteDance（字节跳动）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出自回归视频扩散模型的端到端训练框架Resampling Forcing，通过自重采样模拟推理错误，结合稀疏因果掩码和动态历史路由，实现长视频生成的时间一致性。
Comments Project Page: https://guoyww.github.io/projects/resampling-forcing/
GeoNVS: 基于几何的视频扩散模型用于新视角合成
机构 * KAIST, South Korea（韩国科学技术院） ； Luma AI, USA（Luma AI（美国））
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出GeoNVS，通过高斯溅射特征适配器将扩散特征提升为3D高斯表示，增强几何保真度和相机可控性，在新视角合成任务上超越现有方法。
Comments The code will be available at https://sites.google.com/view/minjun-kang/geonvs-eccv26 (ECCV 2026)
探查并利用视频扩散变换器特征以实现稳健的点跟踪
机构 * KAIST AI（韩国科学技术院人工智能） ； Google DeepMind（谷歌DeepMind）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 本文探讨了视频扩散变换器在点跟踪中的优势，提出DiTracker框架，通过整合视频DiT特征提升跟踪鲁棒性，实验证明其在挑战性场景下表现优异。
Comments Project Page: https://cvlab-kaist.github.io/DiTracker/
SHIFT: 视频扩散模型中的运动对齐与对抗混合微调
机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； University of Chinese Academy of Science（中国科学院大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 针对视频扩散模型微调后运动保真度下降的问题，提出基于像素通量动力学的像素运动奖励和SHIFT框架（平滑混合微调），通过对抗优势改进收敛并缓解奖励黑客，有效解决动态度坍塌。
Comments Accepted by ECCV2026
MVTrack4Gen: 多视角点跟踪作为4D视频生成的几何监督
机构 * KAIST AI（韩国科学技术院人工智能学院） ； Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团公司）
专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出MVTrack4Gen框架，利用多视角点跟踪作为几何与运动监督信号，增强仅相机条件的新视角视频扩散模型的运动一致性和几何一致性。
Comments Project Page : https://cvlab-kaist.github.io/MVTrack4Gen/
Sol视频推理引擎：面向高效视频生成的智能原生全栈加速框架
机构 * NVIDIA Research, Efficient AI Team & Singapore Lab（英伟达研究院高效AI团队及新加坡实验室） ； NVIDIA SANA Team（英伟达SANA团队） ； Codex ； GPT-Image2
专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 提出Sol视频推理引擎，通过智能体驱动的缓存、稀疏注意力、令牌剪枝、量化和内核融合五种技术组合，针对具体模型、硬件和配置自动优化，实现视频扩散模型2倍以上加速且保持质量。
ScalingAttention: 发现视频扩散变换器的内在稀疏注意力拓扑
机构 * KlingAI Research（KlingAI研究院） ； Beijing Institute of Technology（北京理工大学） ； NVIDIA（英伟达） ； Tsinghua University（清华大学）
专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 提出ScalingAttention框架，通过权重编码的稀疏拓扑（WEST）和保真度感知灵敏度调优（FAST）实现训练无关的注意力稀疏化，在Wan2.1上获得最高1.90倍加速并保持高质量。
Comments 18 pages, 9 figures
Flash-GRPO：通过单步策略优化实现视频扩散的高效对齐
机构 * Zhejiang University（浙江大学） ； Joy Future Academy（京东探索研究院） ； Independent Researcher（独立研究员） ； Tsinghua University（清华大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出Flash-GRPO单步训练框架，通过等时分组和时间梯度校正解决计算瓶颈，在低计算预算下实现优于全轨迹训练的对齐质量和训练效率。
Phys4D: 从视频扩散模型实现细粒度物理一致的4D建模
机构 * Northwestern University（西北大学） ； Dolby Laboratories（杜比实验室）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出Phys4D流水线，通过三阶段训练（伪监督预训练、物理监督微调、强化学习校正）从视频扩散模型学习物理一致的4D世界表示，显著提升细粒度时空与物理一致性。
快速自回归视频扩散与世界模型：基于时间缓存压缩与稀疏注意力
机构 * Hebrew University of Jerusalem（特拉维夫大学） ； Google Research（谷歌研究）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出FAST-AR框架，通过TempCache压缩KV缓存、AnnCA加速交叉注意力、AnnSA稀疏化自注意力，实现自回归视频扩散模型5-10倍加速，同时保持视觉质量并稳定GPU内存使用。
Comments Accepted to ICML 2026. Project Page: https://dvirsamuel.github.io/fast-auto-regressive-video/
SARA: 语义自适应关系对齐用于视频扩散模型
机构 * Tencent Hunyuan（腾讯文英）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出SARA方法，通过文本条件显著性引导令牌对监督，提升视频扩散模型的文本对齐和运动质量。
FG-Attn：在视频扩散模型中利用细粒度稀疏注意力
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 针对视频扩散模型中注意力层计算开销大的问题，提出FG-Attn，一种低开销的细粒度稀疏注意力机制，在MxN块粒度上跳过分数计算，实现最高2.45倍加速。
实时注意力弯曲：视频扩散变换器的粒度交互式网络弯曲
机构 * Creative Computing Institute（创意计算研究所） ； University of the Arts London（伦敦艺术大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出实时注意力弯曲工具，通过操纵视频扩散变换器的自注意力、交叉注意力及前馈网络，实现逐层、逐步、逐令牌的交互式生成控制，增强艺术家的创作代理与模型材料亲密性。
Comments 5 pages, 4 figures. Accepted to ACM Creativity & Cognition XAIxArts Workshop 2026
EgoPressDiff: 用于自我中心UV域手部压力估计的多模态视频扩散模型
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出EgoPressDiff，一种条件视频扩散框架，通过多模态条件策略（手部姿态、3D网格顶点和深度信息）从视觉输入生成UV压力图，解决了现有方法中的量化误差和时间不一致问题，在EgoPressure数据集上实现SOTA，Volumetric IoU相对提升34%以上。
Comments Accepted to IEEE ICASSP 2026
Rein3D: 基于全景视频扩散模型的强化3D室内场景生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； Manycore Tech Inc.（Manycore科技公司） ； D-Robotics ； The University of Hong Kong（香港大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出Rein3D框架，结合3D高斯泼溅与视频扩散模型，通过“恢复-细化”范式从稀疏输入生成全局一致的360度室内场景，并构建PanoV2V-15K数据集，显著提升长距离相机探索效果。
物理的隐形之手：当视频扩散模型知道的比它们展示的更多
机构 * University of Bristol（布里斯托大学） ； McGill University（麦吉尔大学） ； Mila–Quebec AI Institute（魁北克AI研究院） ； Microsoft Research（微软研究院） ； University of Calgary（卡尔加里大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 通过逆向扩散过程探测视频扩散模型的潜在轨迹，发现物理合理性可以从扩散变换器状态中线性解码，准确率达81.27%，表明物理有意义的表示是生成式去噪的副产品。
Video-Mirai: 自回归视频扩散模型需要远见
机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（信息处理研究所） ； Peking University（北京大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出Video-Mirai训练方法，通过冻结的远见编码器从完整生成序列中提取未来信息并蒸馏到因果状态，在不改变推理过程的情况下弥合表示层面的规划差距，提升长视频生成的一致性。
Wan2.2双专家视频扩散模型的协同少步蒸馏与低位量化
机构 * IEEE ICME 2026 ； GCC Low-Bit-width Large Model Quantization Challenge（GCC 低精度大模型量化挑战）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 针对Wan2.2-T2V-A14B视频扩散模型，提出结合少步分布匹配蒸馏与低位量化的部署压缩流程，通过双专家去噪分支校准、敏感层保护及HiF4低位表示，在保持质量的同时降低计算开销。
Real2SAM2Real: 生成式3D缓存作为视频扩散的互补上下文
机构 * University of Maryland（马里兰大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 提出Real2SAM2Real框架，通过3D提升模型提取可编辑的3D缓存作为几何支架，结合软空间对齐注入和微调策略，实现视频扩散模型对相机轨迹和多实体运动的精确解耦控制。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈