视频大模型

2506.10915 2026-07-13 cs.CV cs.AI cs.LG 版本更新 88%

M4V: Multimodal Mamba for Efficient Text-to-Video Generation

M4V：用于高效文本到视频生成的多模态曼巴

Jiancheng Huang, Gengwei Zhang, Zequn Jie, Siyu Jiao, Yinlong Qian, Ling Chen, Yunchao Wei, Lin Ma

机构 * Meituan（美团）； University of Technology Sydney（技术大学悉尼分校）； Beijing Jiaotong University（北京交通大学）

专题命中视频生成：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.CV

AI总结研究针对文本到视频生成计算量大的问题，引入多模态曼巴框架M4V。设计MM-DiM块，采用多模态令牌重新组合设计，增强时空一致性。实验表明，该框架能在降计算成本的同时生成高质量视频。

Comments CVPR 2026

2601.09881 2026-07-13 cs.CV cs.AI cs.LG 版本更新 85%

Transition Matching Distillation for Fast Video Generation

用于快速视频生成的过渡匹配蒸馏

Weili Nie, Julius Berner, Nanye Ma, Chao Liu, Saining Xie, Arash Vahdat

专题命中视频生成：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结研究针对大型视频模型多步采样低效问题，提出过渡匹配蒸馏框架TMD，将扩散模型多步去噪轨迹与少步概率过渡过程匹配，分解扩散主干为组件，经实验验证TMD在速度和质量权衡上表现出色，优于现有蒸馏模型。

Journal ref Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 4645-4655

2607.09024 2026-07-13 cs.CV cs.AI 新提交 83%

Video Generation Models are General-Purpose Vision Learners

视频生成模型是通用视觉学习者

Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu

机构 * Google DeepMind（谷歌DeepMind）

专题命中视频生成：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结研究探讨计算机视觉中实现通用模型的催化剂，提出大规模文本到视频生成是预训练范式。介绍GenCeption模型，利用视频生成扩散主干定义感知模型。实验表明该模型在多任务中性能领先，有数据效率优势且具涌现行为，为通用视觉智能提供基础路径。

Comments ECCV 2026

2607.09191 2026-07-13 cs.RO cs.LG 新提交 71%

GenVid2Robot: From Video Generation to Robot Manipulation via Rigid-Geometric Consistency

GenVid2Robot：通过刚性几何一致性从视频生成到机器人操作

Haohui Huang, Xi Yuan, Panpan Liao, Tao Teng, Chenguang Yang, Jing Guo, Yi Guo

机构 * School of Automation, Guangdong University of Technology（广东工业大学自动化学院）； University of Liverpool（利物浦大学）； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）； State Key Laboratory of Submarine Geoscience, School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学海洋地球科学国家重点实验室，自动化与智能感知学院）

专题命中视频生成：video generation(title)

AI总结研究旨在将生成视频转换为机器人可执行操作轨迹。核心方法是GenVid2Robot框架，通过采样语义锚点、跟踪验证运动等步骤实现。主要贡献是提高了生成视频引导操作的可靠性，通过多种手段建立视觉运动先验。

Comments Preprint

2607.09125 2026-07-13 cs.CV 新提交 57%

4D Human-Scene Reconstruction from Low-Overlap Captures

从低重叠度捕获中进行4D人体场景重建

Minhyuk Hwang, Sangmin Kim, Seunguk Do, Daneul Kim, Jaesik Park

机构 * Seoul National University（首尔国立大学）

专题命中视频扩散模型：video diffusion(abstract)；分类 cs.CV

AI总结针对现实场景中低重叠度相机的4D人体场景重建问题，提出StudioRecon方法，通过解耦背景和人体，利用视频扩散模型强化背景监督，结合跨视图关联等初始化人体，经递归增强模块避免伪影，实现了高水准新视图合成及相关应用。

Comments Accepted to SIGGRAPH Conference Papers '26. First two authors contributed equally. Project page: https://sisyphm.github.io/studiorecon-page/

2603.29943 2026-07-13 cs.CV 版本更新 83%

Diagnosing Long-Video Quantitative Reasoning in Multimodal LLMs via Enumeration and Counting

EC-Bench：超长视频的枚举与计数基准

Fumihiko Tsuchiya, Taiki Miyanishi, Shunsuke Yasuki, Mahiro Ukai, Nakamasa Inoue, Shuhei Kurita, Yusuke Iwasawa, Yutaka Matsuo

机构 * The University of Tokyo, Japan（东京大学）； Institute of Science Tokyo, Japan（东京科学大学）； National Institute of Informatics, Japan（国立信息学研究所）

专题命中长视频与时序推理：long video(title,abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 EC-Bench针对超长视频的枚举与计数问题，通过152部超过30分钟的视频和1699个查询，评估多模态大语言模型的性能，揭示模型在时间推理和计数任务中的局限性。

Comments The first two authors are equally contributed. The data and code are publicly available at: https://github.com/matsuolab/EC-Bench

1. 视频生成 4 篇