视频大模型

Omni-Video: Democratizing Unified Video Understanding and Generation

Omni-Video：统一视频理解与生成的普及

Zhiyu Tan, Hao Yang, Luozheng Qin, Jia Gong, Mengping Yang, Hao Li

专题命中 视频理解 ：video understanding(title,abstract)；video generation(abstract)；分类 cs.CV

AI总结 本文提出Omni-Video框架，通过改进多模态大语言模型生成连续视觉线索，结合轻量架构和高效训练方案，实现视频理解、生成与编辑的统一模型。

Comments Technical report, project page: https://howellyoung-s.github.io/OmniVideo_project/

SPARROW: Learning Spatial Precision and Temporal Referential Consistency in Pixel-Grounded Video MLLMs

SPARROW：在像素级视频MLLM中学习空间精度和时间参照一致性

Mohamad Alansari, Naufal Suryanto, Divya Velayudhan, Sajid Javed, Naoufel Werghi, Muzammal Naseer

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 SPARROW通过引入目标特定跟踪特征和双提示设计，提升视频像素级理解的空间精度和时间一致性，基于30646个视频和45231对问答对的数据集，实现六个基准测试的显著改进。

Comments Accepted at CVPR 2026; Project page: https://risys-lab.github.io/SPARROW; Repository: https://github.com/RISys-Lab/SPARROW

Train Short, Inference Long: Training-free Horizon Extension for Autoregressive Video Generation

训练短，推理长：无训练 horizon 延伸用于自回归视频生成

Jia Li, Xiaomeng Fu, Xurui Peng, Weifeng Chen, Youwei Zheng, Tianyu Zhao, Jiexi Wang, Fangmin Chen, Xing Wang, Hayden Kwok-Hay So

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；long video(abstract)；分类 cs.CV

AI总结 本文提出FLEX框架，通过频率感知RoPE调制和抗相位噪声采样，解决自回归视频扩散模型在延伸horizon时的 extrapolation失败问题，实现6倍延伸性能提升。

Comments 19 pages, 15 figures

Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing

Omni-Video 2：基于MLLM条件扩散模型的统一视频生成与编辑扩展

Hao Yang, Zhiyu Tan, Jia Gong, Luozheng Qin, Hesen Chen, Xiaomeng Yang, Yuqing Sun, Yuetan Lin, Mengping Yang, Hao Li

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出Omni-Video 2，通过连接预训练多模态大语言模型与视频扩散模型，实现视频生成与编辑的统一。核心方法是利用MLLM生成明确的目标描述以指导生成过程，并通过轻量适配器高效注入多模态条件token，提升复杂编辑任务性能。

Comments Technical Report, Project: https://howellyoung-s.github.io/Omni-Video2-project/

ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation

ID-Crafter：基于视觉语言模型的在线强化学习多主体视频生成框架

Panwang Pan, Jingjing Zhao, Yuchen Lin, Chenguo Lin, Chenxin Li, Hengyu Liu, Tingting Shen, Yadong MU

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出ID-Crafter框架，通过层次化注意力机制、预训练视觉语言模型和在线强化学习，提升多主体视频生成中身份保持与语义一致性。

Comments Project page: https://angericky.github.io/ID-Crafter, Code: https://github.com/paulpanwang/IDCrafter

Journal ref CVPR 2026

Motion Dreamer: Boundary Conditional Motion Reasoning for Physically Coherent Video Generation

Motion Dreamer：基于物理一致视频生成的边界条件运动推理

Tianshuo Xu, Zhifei Chen, Leyi Wu, Hao Lu, Yuying Chen, Lihui Jiang, Bingbing Liu, Yingcong Chen

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出Motion Dreamer框架，通过分离运动推理与视觉合成，解决视频生成中边界条件运动推理的问题，提升运动合理性与视觉真实性。

Comments The authors have decided to withdraw this article due to the following reasons identified after publication: Experimental Errors: Significant inaccuracies were discovered in the experimental results concerning segmentation and depth estimation. Authorship Disputes: In addition to the technical issues, there are unresolved disagreements regarding the author sequence and contributions

VGGT-World: Transforming VGGT into an Autoregressive Geometry World Model

VGGT-World：将VGGT转变为一个自回归的几何世界模型

Xiangyu Sun, Shijie Wang, Fengyi Zhang, Lin Liu, Caiyan Jia, Ziying Song, Zi Huang, Yadan Luo

机构 * UQMM Lab, The University of Queensland（昆士兰大学UQMM实验室） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出VGGT-World，通过自回归方法预测冻结几何基础模型特征的时空演变，提升深度预测性能并提高效率。

MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer

MoVieDrive：基于多模态多视角视频扩散变换器的城市场景合成

Guile Wu, David Huang, Dongfeng Bai, Bingbing Liu

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； University of Toronto（多伦多大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV

AI总结 本文提出MoVieDrive，通过多模态多视角视频扩散变换器生成城市驾驶场景视频，实现多模态数据生成与可控生成。

Comments CVPR 2026 Findings Track

GA-Drive: Geometry-Appearance Decoupled Modeling for Free-viewpoint Driving Scene Generation

GA-Drive：用于自由视角驾驶场景生成的几何-外观解耦建模

Hao Zhang, Lue Fan, Qitai Wang, Wenbo Li, Zehuan Wu, Lewei Lu, Zhaoxiang Zhang, Hongsheng Li

机构 * MMLab, CUHK（CUHK的MMLab） ； CASIA ； Shanghai Jiaotong University（上海交通大学） ； SenseTime Research（商汤科技研究院） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 GA-Drive通过几何-外观解耦和扩散生成技术，生成可编辑的高保真驾驶场景，提升自动驾驶训练和评估的效率与效果。

SAW: Toward a Surgical Action World Model via Controllable and Scalable Video Generation

SAW：通过可控且可扩展的视频生成实现手术动作世界模型

Sampath Rapuri, Lalithkumar Seenivasan, Dominik Schneider, Roger Soberanis-Mukul, Yufan He, Hao Ding, Jiru Xu, Chenhao Yu, Chenyan Jing, Pengfei Guo, Daguang Xu, Mathias Unberath

机构 * Johns Hopkins University（约翰霍普金斯大学） ； NVIDIA 纠错

专题命中 动作与事件理解 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV、eess.IV

AI总结 SAW通过四个轻量信号条件的视频扩散模型生成真实手术动作视频，解决手术AI和模拟中的数据稀缺、稀有事件合成及仿真到现实的差距问题，实现高时间一致性和视觉质量。

Comments The manuscript is under review

MMGT: Motion Mask Guided Two-Stage Network for Co-Speech Gesture Video Generation

MMGT：基于运动遮罩的两阶段网络用于语音手势视频生成

Siyuan Wang, Jiawei Liu, Wei Wang, Yeying Jin, Jinsong Du, Zhi Han

专题命中 动作与事件理解 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出MMGT网络，通过结合音频、运动遮罩和姿态视频生成同步语音手势视频，解决单一音频控制导致的大动作缺失问题，提升视频质量与细节控制。

Comments Accepted by IEEE TCSVT

HomeSafe-Bench: Evaluating Vision-Language Models on Unsafe Action Detection for Embodied Agents in Household Scenarios

HomeSafe-Bench：评估视觉-语言模型在家庭场景中对不安全行为检测的性能

Jiayue Pu, Zhongxiang Sun, Zilu Zhang, Xiao Zhang, Jun Xu

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出HomeSafe-Bench，用于评估视觉-语言模型在家庭场景中检测不安全行为的能力，同时引入HD-Guard架构提升实时安全监控效率与准确性。

Let Your Image Move with Your Motion! -- Implicit Multi-Object Multi-Motion Transfer

让您的图像随您的动作移动！-- 隐式多对象多动作转移

Yuze Li, Dong Gong, Xiao Cao, Junchao Yuan, Dongsheng Li, Lei Zhou, Yun Sing Koh, Cheng Yan, Xinyu Zhang

机构 * Tianjin University（天津大学） ； University of New South Wales（新南威尔士大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Hainan University（海南大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出FlexiMMT框架，实现多对象多动作的隐式图像到视频转换，通过解耦注意力机制和改进的掩码传播机制，实现精确且高质量的多对象动作迁移。

Comments 15 pages, 11 figures, cvpr 2026, see https://ethan-li123.github.io/FlexiMMT_page/

MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens

MemRoPE：通过演化记忆标记实现无训练的无限视频生成

Youngrae Kim, Qixin Hu, C. -C. Jay Kuo, Peter A. Beerel

专题命中 长视频与时序推理 ：video generation(title)；分类 cs.CV

AI总结 MemRoPE通过演化记忆标记和在线RoPE索引机制，解决长视频生成中的时间一致性、视觉保真度和主体一致性问题，实现无训练的无限视频生成。

Comments 9 pages main, 3 pages references, 6 pages appendix. Project page: https://memrope.github.io

Thinking in Streaming Video

流式视频思考

Zikang Liu, Longteng Guo, Handong Li, Ru Zhen, Xingjian He, Ruyi Ji, Xiaoming Ren, Yanhao Zhang, Haonan Lu, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； OPPO AI Center, OPPO Inc.（OPPO人工智能中心，OPPO公司） 纠错

专题命中 长视频与时序推理 ：video reasoning(abstract)；分类 cs.CV

AI总结 本文提出ThinkStream框架，通过Watch-Think-Speak范式实现流式视频推理，采用RCSM压缩内存和流式强化学习提升效率，实验表明其在多个流式视频基准上性能优越且低延迟。

VQQA: An Agentic Approach for Video Evaluation and Quality Improvement

VQQA：视频评估与质量提升的代理方法

Yiwen Song, Tomas Pfister, Yale Song

机构 * Google（谷歌） 纠错

专题命中 视频数据与评测 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出VQQA框架，通过动态生成视觉问题并利用视觉语言模型进行语义梯度优化，实现高效的闭环提示优化，提升视频生成质量。