视频大模型

StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding

StreamOPD：用于流视频理解的时空线索门控后训练方案

Keming Wu, Baoyi Wang, Kaichen Zhang, Xiang An, Zuhao Yang, Sudong Wang, Haowei Zhu, Tingxuan Huang, Hongcheng Gao, Bin Wang

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 本研究提出 StreamOPD 方案，结合可验证流视频数据、思考模式 OPD 与指令模式部署，提升了 StreamingBench、OVO-Bench 等流视频理解基准性能，为相关开源研究提供参考。

Comments Project page: https://unix-ai-lab.github.io/StreamOPD

VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding

VideoGAIA：面向通用人工智能助手的智能体视频理解基准

Fan Zhang, Guangming Yao, Jinyang Wu, Hao Wu, Zheng Lian, Xinyu Geng, Jingdong Chen, Yi Yuan, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Ant Group（蚂蚁集团） ； Tsinghua University（清华大学） ； Tongji University（同济大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 VideoGAIA是面向通用AI助手的智能体视频理解基准，构建多轮工具增强交互任务，现有MLLMs在其上准确率不足60%，可评估下一代模型并推动相关转型。

Audio-Visual Segmentation via Depth-Guided Collaborative Modeling

基于深度引导协同建模的视听分割

Zhaojin Fu, Yuyang Hong, Qi Yang, Zili Wang, Kun Ding, Shiming Xiang, Bin Fan

机构 * School of Intelligent Science and Technology, University of Science and Technology Beijing（北京科技大学智能科学与技术学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 该研究针对现有视听分割方法未建模几何线索的问题，提出三模态框架DGCM-AVS，通过深度感知动态调制器与深度引导渐进融合模块优化，在AVSS数据集上实现M_J、M_F指标的显著提升。

Journal ref IEEE Transactions on Multimedia, 2026

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

EgoGazeLite：面向 token 高效多模态大语言模型视频输入的设备内自我中心注视预测

Matteo Stoiber, Niels Buus Lassen

机构 * Copenhagen Business School（哥本哈根商学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 EgoGazeLite 是轻量双进程注视预测器，可在消费级硬件上实时运行，无需眼动追踪硬件即可实现 token 高效的自我中心视频理解，性能与真实注视裁剪无显著差异。

Comments 16 pages. Accepted at the WearableAI Workshop, ECCV 2026 (Archival Track)

Zero-MELO: Test-Time Evidence Calibration with Multimodal LLMs for Zero-Shot Micro-Gesture Recognition

Zero-MELO：基于多模态大语言模型的测试时证据校准用于零样本微手势识别

Chengyan Wang, Hanliang Xie, Yueyi Yang, Haoyu Chen

机构 * University of Oulu（奥卢大学） ； Peking University（北京大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 该研究针对多模态大语言模型在微手势识别中局部证据不足、分数偏差的瓶颈，提出Zero-MELO框架，结合树搜索、测试时校准与多线索融合，在iMiGUE和MA-52数据集上显著优于Qwen2.5-VL基线。

Comments Accepted by ACM MM 2026

Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models

追踪真相：面向视频大语言模型的物体感知时空监控

Tri Cao, Khoi Le, Thong Nguyen, Cong-Duy Nguyen, Quynh Vo, Anh Tuan Luu, Chunyan Miao, See-Kiong Ng, Shuicheng Yan, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） ； VinUniversity（文大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出STEMO-Bench基准测试，通过分解查询验证时空监控能力，改进视频大语言模型的时空推理一致性。

Comments The authors are withdrawing this manuscript due to errors identified in the experimental evaluation and result aggregation, which affect several reported quantitative results and some conclusions. These issues require substantial re-evaluation of the experiments and analysis

Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning

数据更少，收敛更快：面向多模态指令微调的目标驱动数据优化

Rujie Wu, Haozhe Zhao, Hai Ci, Yizhou Wang

机构 * Peking University（北京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出目标驱动数据优化框架GDO，通过优化训练样本实现更快收敛和更高精度，适用于多模态指令微调任务。

Comments Accepted to ECCV 2026

RoboMirror: Understand Before You Imitate for Video to Humanoid Locomotion

RoboMirror: 在模仿之前理解以实现视频到仿人运动

Zhe Li, Boan Zhu, Yangyang Wei, Shuanghao Bai, Yuheng Ji, Yibo Peng, Tao Huang, Pengwei Wang, Zhongyuan Wang, S. -H. Gary Chan, Chang Xu, Cheng Chi, Jianfei Yang, Shanghang Zhang

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 RoboMirror通过视觉语言模型将视频提炼为视觉运动意图，直接生成物理合理的仿人运动，无需姿态重建，实现远程存在并提升任务成功率。

MLLM-Guided Semantic Correction for Text-to-Video Generation

基于多模态大语言模型（MLLM）的文本到视频生成语义修正

Junhao Chen, Zheqi Lv, Keting Yin, Shengyu Zhang, Zhou Zhao, Feiyang Chen, Xinyu Duan, Baoxing Huai, Fei Wu

机构 * Zhejiang University（浙江大学） ； Huawei Cloud Computing Technology Co., Ltd.（华为云计算技术有限公司） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.CV

AI总结 该研究提出一种无需训练的MLLM引导文本到视频生成语义修正框架，通过两个关键模块在生成中修正语义偏差，提升了生成内容的语义对齐度等性能，经多基准实验验证有效。

Visko Orbis 1.0: A Live Model for Real-Time Interactive Long Video Generation

Visko Orbis 1.0：用于实时交互式长视频生成的实时模型

Xiangbo Gao, Siyuan Yang, Ping He, Mingyang Wu, Yuheng Wu, Yushen Zuo, Jiongze Yu, Ryan Cui, Hongyuan Hua, Devin Ma, Xiao Jin, Yubo Yuan, Qing Yin, Jie Yang, Zhengzhong Tu

专题命中 视频生成 ：video generation(title,abstract)；long video(title)；text-to-video(abstract)；分类 cs.CV

AI总结 Visko Orbis 1.0是一款实时交互式长视频生成模型，支持多类型生成任务与实时提示词切换，靠有界多尺度记忆实现长视频生成无明显漂移，在对比测试中获最优偏好与稳定性评分。

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuad：用于高效视频生成的次二次注意力蒸馏

Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 针对视频扩散Transformer自注意力的二次复杂度瓶颈，提出SQuad次二次注意力蒸馏框架，通过两阶段蒸馏适配预训练模型，在保持生成质量的同时大幅提升效率。

AnyTalk: Speech Animation for Arbitrary Characters Leveraging a Video Generation Model

AnyTalk：利用视频生成模型实现任意角色的语音动画

Kwan Yun, Serin Yoon, Sunjin Jung, Jung Eun Yoo, Inyup Lee, Junyong Noh

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV、cs.MM

AI总结 AnyTalk是一种无需动画数据、利用视频扩散模型的新方法，可生成任意角色的3D语音动画，还能蒸馏出实时版本，降低了人工与数据需求。

Comments accepted to TVCG, Project page at https://serin-yoon.github.io/projects/anytalk/

FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams

FlowDance：基于音乐驱动的并行姿态与RGB流舞蹈视频生成

Genying Li, Boda Lin, Jiachen Li, Zijian Jia, Haojie Zheng, Yiming Wang, Shuchen Weng, Si Li

专题命中 视频生成 ：video generation(title,abstract)；long video(abstract)；分类 cs.CV

AI总结 FlowDance是一种结合并行姿态与RGB流的音乐驱动舞蹈视频生成框架，通过时间步感知姿态注入和持久身份注入优化，构建了高分辨率野外舞蹈数据集，在相关任务上表现优异。

KeyID: Decoupled Drafting and Keyframe Editing for Identity-Preserving Video Generation

KeyID：用于身份保留视频生成的解耦草稿生成与关键帧编辑

Jianjie Luo, Yiming Zhong, Haoming Shen, Yupeng Xiao, Zhenguo Yang

机构 * Guangdong University of Technology（广东工业大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV、cs.MM

AI总结 KeyID是无需训练的IPVG框架，通过解耦视频动态合成与身份注入，解决身份一致性问题，在ACM MM 2026 IPVG挑战赛获亚军，可扩展至多主体参考及复杂序列动作生成。

Comments Accepted by ACM MM 2026

PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation

PersonaShot：多镜头视频生成中以人为中心的叙事连续性基准

Yuji Wang, Yuheng Chen, Teng Hu, Ran Yi, Yijia Hong, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 该研究针对多镜头视频生成中角色叙事连续性评估的不足，推出PersonaShot基准，设计三类特定评估器，发现先进模型感知质量与跨镜头连续性存在差距，评估器与人类专家判断一致性强。

SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning

SingDance：基于角色感知音频条件的组合式零样本歌舞视频生成

Tao Feng, Xu Li, Xiangyang Luo, Ming Wen, Huadai Liu, Chen Zhang, Wei Xue

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV

AI总结 SingDance是统一视频扩散框架，将语音表达设为语义角色，通过硬紧凑路由等技术实现组合式零样本歌舞视频生成，参数少且性能具竞争力。

Comments 9 pages, 5 figures

Equilibrium Forcing: Adaptive Video Generation Without Noise Conditioning

均衡强迫：无需噪声条件的自适应视频生成

Hansen Jin Lillemark, Alex Rojas, Zachary Novack, Runqian Wang, Yilun Du, Yian Ma, Taylor Berg-Kirkpatrick, Rose Yu

机构 * UC San Diego（加州大学圣地亚哥分校） ； MIT（麻省理工学院） ； Harvard University（哈佛大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 该研究提出无需噪声条件的均衡强迫（EqF）框架，解耦去噪场学习与采样，实现自适应闭环推理，提升自回归视频生成的质量与一致性，性能优于传统噪声条件方法。

Comments Project page: https://equilibriumforcing.github.io/

EchoCache: Energy-Guided Cross-Modal Caching for Efficient Audio-Driven Video Generation

EchoCache：面向高效音频驱动视频生成的能量引导跨模态缓存

Jiayu Chen, Xiaoyu Wu, Rongshan Gao, Maoliang Li, Zihao Zheng, Xinhao Sun, Hailong Zou, Guojie Luo, Xiang Chen

机构 * Peking University（北京大学） ； Taiyuan University of Technology（太原理工大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 EchoCache是一种能量引导跨模态缓存框架，通过利用音频时频能量锚点与动态缓存机制，在保持音频驱动视频生成质量的同时，实现了2.46倍的推理加速，优化了延迟-质量权衡。

Comments EchoCache is honored to be accepted by ACM MM 2026

Spectral Progressive Diffusion for Efficient Image and Video Generation

频域渐进扩散用于高效图像和视频生成

Howard Xiao, Brian Chao, Lior Yariv, Gordon Wetzstein

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出了一种频域渐进扩散框架，通过在预训练扩散模型的去噪轨迹中逐步提高分辨率，实现高效的图像和视频生成，同时改进了效率和质量。

Comments Project website at https://howardxiao.ca/speed

AgentMV: A State-Guided Multi-Agent Framework for Budget-Aware Music Video Generation

AllocMV：通过结构化持久状态实现音乐视频生成的最优资源分配

Huimin Wang, Chang Xia, Leilei Ouyang, Yongqi Kang, Yu Fu, Yuqi Ouyang

机构 * College of Computer Science, Sichuan University（四川大学计算机学院） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 AllocMV提出了一种分层框架，将音乐视频合成建模为多重选择背包问题，通过动态规划优化资源分配，确保跨镜头一致性并降低生成成本。

Comments ECCV 2026 AI4VA

FlexAM: Flexible Appearance-Motion Decomposition for Versatile Video Generation Control

FlexAM: 一种灵活的外观-运动分解方法用于多功能视频生成控制

Mingzhi Sheng, Zekai Gu, Peng Li, Cheng Lin, Hao-Xiang Guo, Ying-Cong Chen, Yuan Liu

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； MUST（澳门大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 FlexAM通过引入新型3D控制信号，实现外观与运动的解耦，提升视频生成任务的灵活性和生成质量。

Comments Codes: https://github.com/IGL-HKUST/FlexAM

RigidBench: Evaluating Rigid-Body Physics in Video Generation Models

RigidBench：评估视频生成模型中的刚体物理效果

Swarnim Jain, Shangzhe Wu

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 该研究提出基于模拟器的RigidBench基准，评估视频生成模型的刚体物理效果，分析8个模型的表现，用5000个训练视频微调Wan 2.2 TI2V-5B并揭示其表征物体位置的机制。

Comments 30 pages, including appendices. Code: https://github.com/swarnim-j/RigidBench. Dataset: https://doi.org/10.5281/zenodo.21649156

Efficient Audio-Visual Generation via Synchrony-Aware Cross-Modal Sparse Attention

基于同步感知跨模态稀疏注意力的高效视听生成

Shengchuan Gao, Teng Hu, Bohao Feng, Luchen Li, Wenqiang Wang, Hongqian Deng, Ran Yi

机构 * Alibaba Group（阿里巴巴集团） ； Alibaba Cloud Computing（阿里巴巴云计算） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频生成 ：video generation(abstract)；long video(abstract)；分类 cs.CV

AI总结 本文提出同步感知加速框架，通过受保护的稀疏注意力策略在保留视听生成质量与同步性的同时提升推理效率。

Qwen-Video-Edit: Instruction-Based Video Editing by Repurposing an Image Editing Model

Qwen-Video-Edit：通过复用图像编辑模型实现基于指令的视频编辑

Yunpeng Bai, Yossi Gandelsman, Michaël Gharbi, Qixing Huang

机构 * UT Austin（德克萨斯大学奥斯汀分校） ； Reve（Reve公司） 纠错

专题命中 视频生成 ：video diffusion(abstract)；分类 cs.CV

AI总结 该研究提出Qwen-Video-Edit，通过复用Qwen-Image-Edit图像编辑模型，经少量适配实现基于指令的视频编辑，证明图像编辑先验可迁移至视频编辑任务。

Comments Project Page: https://yunpeng1998.github.io/Qwen-Video-Edit-Page; Code: https://github.com/yunpeng1998/Qwen-Video-Edit; Model: https://huggingface.co/yunpeng1998/Qwen-Video-Edit

SimWAM: A Simple World Action Model for End-to-End Autonomous Driving

SimWAM：一种用于端到端自动驾驶的简单世界动作模型

Zongchuang Zhao, Xin Zhou, Tianyang Xu, Zhengyang Sun, Kaixuan Zhou, Honglin Li, Dingkang Liang, Xiang Bai

机构 * Huazhong University of Science & Technology（华中科技大学） ； Dongfeng Research & Development Institute（东风研发院） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 SimWAM是一种仅将视频生成用作训练信号的简单WAM，通过联合流匹配协同训练视频与动作专家，在NAVSIM上达91.5 PDMS且延迟更低，可零样本迁移至nuScenes，为高效自动驾驶提供可靠基线。

Comments The code and model weights are available at https://github.com/H-EmbodVis/SimWAM/

DrivingWorld: Constructing World Model for Autonomous Driving via Video GPT

DrivingWorld：通过视频GPT构建自动驾驶领域的世界模型

Xiaotao Hu, Mingkai Jia, Xiaoyang Guo, Qian Zhang, Xiao-xiao Long, Wei Yin

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出名为DrivingWorld的自动驾驶GPT风格世界模型，通过时空融合等策略提升视频生成质量与时长，实现更优的可控未来视频生成效果。

Journal ref ICPR 2026

Time-Correlated Video Bridge Matching

时间相关视频桥匹配

Viacheslav Vasilev, Arseny Ivanov, Nikita Gushchin, Maria Kovaleva, Alexander Korotin

机构 * Kandinsky Lab（Kandinsky实验室） ； Applied AI Institute（应用人工智能研究所） ； HSE University（高等经济大学） 纠错

专题命中 视频生成 ：video generation(abstract)

AI总结 本文提出时间相关视频桥匹配框架，解决视频生成中时间相关序列建模问题，通过建模序列间依赖性和时间相关性，提升视频生成质量与重建精度。

Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer

为文本-音频-视频模型添加带单个零初始化层的语音克隆功能

Ivan Mikheev, Viacheslav Vasilev, Anna Dmitrienko, Alexey Letunovskiy, Ivan Kirillov, Kirill Chernyshev, Denis Dimitrov

机构 * Kandinsky Lab（坎丁斯基实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.MM

AI总结 本文在基础文本-音频-视频模型上添加单个零初始化线性层，经微调后实现语音克隆，在674个说话人-文本对基准上优于5个基线，且推理时可跳过视频路径提速约30倍。

Rethinking Token-wise Feature Caching: Accelerating Diffusion Transformers with Dual Feature Caching

重新思考逐令牌特征缓存：通过双特征缓存加速扩散Transformer

Chang Zou, Shikang Zheng, Evelyn Zhang, Runlin Guo, Haohang Xu, Zhengyi Shi, Conghui He, Xuming Hu, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； South China University of Technology（南方科技大学） ； Beihang University（北航） ； Huawei Technologies Ltd（华为技术有限公司） ； Shanghai AI Lab（上海人工智能实验室） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文针对逐令牌特征缓存的核心问题提出质疑，提出双特征缓存方法DuCa，在DiT等生成模型上实现了优于现有逐令牌特征缓存的性能。

Journal ref IEEE Transactions on Image Processing, vol. 35, pp. 6211-6220, 2026

PickStyle: Video-to-Video Style Transfer with Context-Style Adapters

PickStyle：基于上下文-风格适配器的视频到视频风格迁移

Soroush Mehraban, Vida Adeli, Jacob Rommann, Kyryl Truskovskyi, Harrison Sanborn, Babak Taati, Cole Clifford

机构 * Pickford AI ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 PickStyle是一种视频到视频风格迁移框架，通过在预训练视频扩散骨干中插入低秩适配器、构建合成训练片段并提出CS-CFG，实现了优于现有基线的视频风格迁移效果。

Comments Accepted to the European Conference on Computer Vision (ECCV) 2026 Workshops