视频大模型

VideoBrain: Learning Adaptive Frame Sampling for Long Video Understanding

VideoBrain: 学习自适应帧采样以理解长视频

Junbo Zou, Ziheng Huang, Shengjie Zhang, Liwen Zhang, Weining Shen

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出VideoBrain框架，通过CLIP和均匀采样双智能体策略，使视觉语言模型自适应获取关键帧，在减少30-40%帧数的同时提升长视频理解准确率3.5%-9.0%。

3rd Place at CVPR 2026 CASTLE Challenge: Agentic Multi-View Long-Context Video Understanding via Hierarchical Knowledge Graph Retrieval

CVPR 2026 CASTLE挑战赛第三名：基于层次化知识图谱检索的智能多视角长视频理解

Raghad Albusayes, Munirah Alyahya

机构 * TAHAKOM（塔哈科姆） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 提出一种免训练的智能框架，通过视频知识图谱和层次化检索索引，解决大规模多视角视频中的复杂时空推理问题，在CASTLE挑战赛中获得第三名。

An Efficient Streaming Video Understanding Framework with Agentic Control

一种具有代理控制的高效流式视频理解框架

Jinming Liu, Jianguo Huang, Zhaoyang Jia, Jiahao Li, Xiaoyi Zhang, Zongyu Guo, Bin Li, Wenjun Zeng, Yan Lu, Xin Jin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology, Ningbo, China（宁波工程技术学院） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 提出R3-Streaming框架，通过级联控制（记忆压缩、响应判断、计算路由）和年龄感知遗忘策略及目标平衡强化学习（TB-GRPO），在严格延迟预算下实现流式视频理解，性能达到SOTA并减少95-96%视觉令牌使用。

APB-V: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention

APB-V: 通过序列并行感知的近似注意力加速长视频理解

Yuxiang Huang, Mingye Li, Xu Han, Chaojun Xiao, Weilin Zhao, Ao Sun, Ziqi Yuan, Hao Zhou, Fandong Meng, Zhiyuan Liu

机构 * NLP Group, DCST, IAI, BNRIST, Tsinghua University, Beijing, China（清华大学北京校区自然语言处理组、国防科技大学、人工智能研究院、北京理工大学、清华大学） ； Department of CS&T, Central South University, Changsha, China（中南大学计算机与技术系，长沙，中国） ； BUPT, Beijing, China（北京邮电大学，北京，中国） ； Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信人工智能研究院） 纠错

专题命中 视频理解 ：video understanding(title)；分类 cs.CV

AI总结 提出APB-V，一种序列并行框架，通过分布式近似注意力在多GPU上加速长视频推理，显著提升速度且不损失性能。

Comments ACL 2026 main

Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events

Moment-Video: 诊断视频多模态大语言模型在瞬时视觉事件上的时间保真度

Xiaolin Liu, Yilun Zhu, Xiangyu Zhao, Xuehui Wang, Yan Li, Xin Li, Haoyu Cao, Xing Sun, Shaofeng Zhang, Xu Yang, Zhihang Zhong, Xue Yang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） ； Southeast University（东南大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出 Moment-Video 基准，通过瞬时视觉事件理解任务诊断视频 MLLMs 的时间保真度，发现最佳模型准确率仅 39.6%，多数开源模型低于 25%。

Comments 28 pages, 10 figures, 11 tables

Multi-modal Video Representation Alignment for Robust Self-supervised Driver Distraction Detection

多模态视频表示对齐用于鲁棒的自监督驾驶员分心检测

David J. Lerch, Livien Majer, Zeyun Zhong, Manuel Martin, Frederik Diederichs, Rainer Stiefelhagen

机构 * Fraunhofer IOSB（弗劳恩霍夫智能系统研究所） ； Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出一种多模态全局对齐框架，通过软目标和加权机制处理错误负样本和不可靠正样本，在Drive&Act数据集上优于现有方法，实现鲁棒的驾驶员分心检测。

Comments Accepted at the IEEE ITSC 2026

InfoMerge: Information-aware Token Compression for Efficient Video Large Language Models

InfoMerge: 信息感知的令牌压缩用于高效视频大语言模型

Xinxin Liu, Shiwei Gan, Xiao Liu, Yafeng Yin, Lei Xie, Sanglu Lu

机构 * State Key Laboratory of Novel Software Technology（新型软件技术国家重点实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出InfoMerge，一种无需训练的视觉令牌压缩方法，通过鲁棒冗余估计和内容感知预算分配，在减少85%视觉令牌的同时保持98.8%性能，实现4.24倍预填充加速。

Comments 15 pages, 8 figures

Understanding-Enhanced Model Collaboration for Long-Tailed Egocentric Mistake Detection

理解增强的模型协作用于长尾自我中心错误检测

Boyu Han, Qianqian Xu, Shilong Bao, Zhiyong Yang, Ruochen Cui, Qingming Huang

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； School of Computer Science and Tech., University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Information Engineering, CAS（信息工程研究所，中国科学院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出理解增强的模型协作方法（UE-MCM），结合粗粒度视频理解与细粒度动作推理，通过双分支模型和自适应融合门检测自我中心视频中的错误，并优化长尾分布。

EvoCut: Multi-Layer Evolution-Aware Visual Token Compression for Efficient Large Vision-Language Models

EvoCut：面向高效大型视觉语言模型的多层演化感知视觉标记压缩

Hongyu Lu, Feng Zhang, Wenwei Jin, Huanling Hu, Pengfei Zhang, Yao Hu, Jiawei Li, Shikai Jiang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Xiaohongshu（小红书） ； Fudan University（复旦大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 提出一种无需训练和注意力的视觉标记压缩方法EvoCut，通过分析多层演化偏差估计标记重要性，在LLaVA-1.5-7B上仅保留11.1%的视觉标记即可保持94.4%的平均性能。

Comments Preprint. 12 pages, 6 figures, 7 tables

Multimodal Large Language Model-Enabled Video Translation: A Role-Oriented Survey

多模态大语言模型驱动的视频翻译：面向角色的综述

Bingzheng Qu, Kehai Chen, Xuefeng Bai, Min Zhang

机构 * School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文通过面向角色的分类法，系统综述了多模态大语言模型在视频翻译中的应用，将其分为语义推理器、表达执行器和视觉合成器三个功能角色，并总结了数据集、基准和评估指标，指出了端到端视频翻译的挑战与未来方向。