视频大模型

Long Video Understanding with Learnable Retrieval in Video-Language Models

Jiaqi Xu, Cuiling Lan, Wenxuan Xie, Xuejin Chen, Yan Lu

机构 * School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；video-language(title,abstract)；long video(title,abstract)；video reasoning(abstract)

Comments Accepted by IEEE Transactions on Multimedia (TMM)

Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding

聚焦何处：用于长视频理解的查询调节多模态关键帧选择

Shaoguang Wang, Weiyu Guo, Ziyang Chen, Xuming Hu, Hui Xiong

机构 * Department of CSE, HKUST（香港科技大学计算机科学与工程系） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video reasoning(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Q-Gate框架，通过动态模态路由解决长视频理解中关键帧选择问题，有效抑制模态噪声，提升多模态大语言模型的推理能力。

Comments 9 pages, 7 figures, 9 tables. Preprint

ZoomV: Temporal Zoom-in for Efficient Long Video Understanding

TimeSearch: 基于聚光灯和反射的层次视频搜索用于类人长视频理解

Yuan Zhang, Junwen Pan, Rui Zhang, Xin Wan, Qizhe Zhang, Ming Lu, Qi She, Shanghang Zhang

机构 * ByteDance（字节跳动） ； School of Computer Science, Peking University（北京大学计算机科学学院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video-language(abstract)；分类 cs.CV

AI总结 TimeSearch通过Spotlight和Reflection机制，提升长视频理解的准确性和效率

Comments ACMMM 2026

Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding

利用记忆进行推理：一种用于免训练长视频理解的时间粒度自适应框架

Linghao Meng, Qiankun Li, Junyuan Mao, Pujin Liao, Zhicheng He, Enbo Zhang, Kun Wang, Yang Liu, Huazhu Fu, Yueming Jin

机构 * National University of Singapore（新加坡国立大学） ； Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（高性能计算研究所，科学、技术与研究机构（A*STAR）） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Jilin University（吉林大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型长视频理解受限问题，提出ReMem框架，通过双级记忆增强自适应，在查询和视频级别分别处理，能适应不同时间粒度，经实验验证在多个基准测试中实现高效零样本性能，提升模型长视频推理能力。

Comments Accepted by ECCV 2026

Modularized Dynamic-Granularity Video LLM for Multi-Event Long Video Understanding

用于多事件长视频理解的模块化动态粒度视频语言模型

Wei Feng, Xin Wang, Yu-Wei Zhan, Yuwei Zhou, Wenwu Zhu

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 针对长视频理解中视觉令牌预算与多事件捕捉的矛盾问题，提出MoD-VLLM框架，含正-负视频片段定位和模块化动态粒度反射模块，结合动态粒度强化学习策略，在多事件长视频基准测试中显著优于现有基线。

Comments Accepted by 2026 IEEE International Conference on Multimedia and Expo (ICME 2026)

Active Video Perception: Iterative Evidence Seeking for Agentic Long Video Understanding

主动视频感知：用于代理长视频理解的迭代证据寻求

Ziyang Wang, Honglu Zhou, Shijie Wang, Junnan Li, Caiming Xiong, Silvio Savarese, Mohit Bansal, Michael S. Ryoo, Juan Carlos Niebles

机构 * Salesforce AI Research（Salesforce AI研究院） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 本文提出了一种主动视频感知框架AVP，通过迭代计划-观察-反思过程，主动决定视频内容的观察目标和时间，以提高长视频理解的准确性和效率。

Comments Website: https://activevideoperception.github.io/

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

Video-MTR: 用于长视频理解的多轮强化推理

Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Guangdong University of Technology（广东工业大学） ； X-Era AI Lab（X-Era人工智能实验室） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 提出Video-MTR框架，通过强化多轮推理迭代选择关键视频片段并理解问题，结合门控双层奖励系统实现端到端训练，在长视频理解基准上提升准确率和效率。

Comments Accepted by ICML 2026. Camera-ready version

Video Panels for Long Video Understanding

用于长视频理解的视频面板

Lars Doorenbos, Federico Spurio, Juergen Gall

机构 * University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video-language(abstract)；分类 cs.CV

AI总结 本文提出一种无需训练的视觉提示策略，通过将多帧组合成图像以换取时间分辨率，提升了长视频理解模型的性能，实验表明在多个基准上效果显著。

Comments CVPR 2026

Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding

思考，然后验证：一种用于长视频理解的假设-验证多智能体框架

Zheng Wang, Haoran Chen, Haoxuan Qin, Zhipeng Wei, Tianwen Qian, Cong Bai

机构 * College of Computer Science, Zhejiang University of Technology（浙江工业大学计算机科学学院） ； Zhejiang Key Laboratory of Visual Information Intelligent Processing（浙江视觉信息智能处理重点实验室） ； UC Berkeley（伯克利大学） ； College of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 VideoHV-Agent通过结构化假设-验证流程提升长视频理解的准确性、可解释性和效率。

Comments Accepted at CVPR 2026

Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding

基于接地的思考：用于长视频理解的课程强化推理与视频接地

Houlun Chen, Xin Wang, Guangyao Li, Yuwei Zhou, Yihan Chen, Jia Jia, Wenwu Zhu

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video reasoning(abstract)；分类 cs.CV

AI总结 Video-TwG通过课程强化框架和接地范式提升长视频理解，采用双阶段策略和TwG-GRPO算法优化推理与接地质量。

Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding

Xiaoqian Shen, Wenxuan Zhang, Jun Chen, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video language model(abstract)；分类 cs.CV

Comments NeurIPS 2025 (Spotlight). Webpage at https://xiaoqian-shen.github.io/Vgent

LOVE-R1: Advancing Long Video Understanding with an Adaptive Zoom-in Mechanism via Multi-Step Reasoning

Shenghao Fu, Qize Yang, Yuan-Ming Li, Xihan Wei, Xiaohua Xie, Wei-Shi Zheng

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院） ； Tongyi Lab, Alibaba Group（阿里巴巴集团 Tongyi 实验室） ； Peng Cheng Laboratory, China（鹏城实验室） ； Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部机器智能与先进计算重点实验室） ； Guangdong Province Key Laboratory of Information Security Technology, China（广东省信息安全技术重点实验室） ； Pazhou Laboratory (Huangpu), China（琶洲实验室（黄埔）） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video-language(abstract)；分类 cs.CV

Towards Event-oriented Long Video Understanding

Yifan Du, Kun Zhou, Yuqi Huo, Yifan Li, Wayne Xin Zhao, Haoyu Lu, Zijia Zhao, Bingning Wang, Weipeng Chen, Ji-Rong Wen

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV、cs.MM

Comments Work on progress

Two-Stream Transformer Architecture for Long Video Understanding

Edward Fish, Jon Weinbren, Andrew Gilbert

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV、cs.MM

Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding

用于高效长视频理解的证据驱动型动态视觉选择器

Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 本文提出基于目标MLLM内部注意力证据的动态视觉选择框架EviSelect，通过GRPO优化的随机策略实现高效长视频理解，在三个基准上性能更优，视觉token减少约50%、端到端加速3.9倍。

Comments Project Page: https://zhangbo135.github.io/EviSelect/

VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding

VisualRouter：面向长视频理解的查询驱动视觉采样

Haiyue Zhang, Yi Bin, Xun Jiang, Zeyu Ma, Duo Peng, Guoqing Wang, Yang Yang, Heng Tao Shen

机构 * Tongji University（同济大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 本文提出无训练即插即用框架VisualRouter，通过将查询分为全局或局部并采用对应采样策略，提升了大型视觉语言模型的长视频理解性能，在多个基准数据集上优于均匀采样及现有无训练方法。

Gaussian Mixture Modeling for Event-Aware Visual Allocation in Long Video Understanding

用于长视频理解中事件感知视觉分配的高斯混合模型

Yifan Lu, Ziqi Zhang, Chunfeng Yuan, Jun Gao, Bing Li, Weiming Hu

机构 * Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information, CASIA（中国科学院自动化所多模态信息超智能安全北京市重点实验室） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Hello Group（未知（保留英文）） ； School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 针对长视频理解中视觉分配问题，提出GMM-EVA方法，利用高斯混合模型建模事件级结构，采用差异化分配策略，在多个长视频基准实验中显著优于均匀采样，以约一半视觉令牌预算达可比性能，凸显高效性。

Comments accepted at PRCV 2026

Agentic Very Long Video Understanding

智能体超长视频理解

Aniket Rege, Arka Sadhu, Yuliang Li, Kejie Li, Ramya Korlakai Vinayak, Yuning Chai, Yong Jae Lee, Hyo Jin Kim

机构 * Reality Labs Research at Meta（Meta 实验室） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 针对智能眼镜等设备带来的长视频理解需求，以实体场景图为核心构建增强智能体框架EGAgent，实现结构化搜索、推理及跨模态能力，在相关数据集实验中取得较好表现。

Comments 29 pages, 8 figures, 8 tables

QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding

QCA：面向长视频理解的查询与内容感知关键帧选择

Jun Peng, Baiyang Song, Jie Li, Hui Li, Yiyi Zhou, Rongrong Ji, Yonghong Tian

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室） ； School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出QCA框架，通过联合建模查询相关性和内容偏差动态分配关键帧预算，无需额外训练即可集成到Video-LLMs，在长视频理解基准上取得最优性能。

Reflect-R1: Evidence-Driven Reflection for Self-Correction in Long Video Understanding

Reflect-R1：长视频理解中基于证据驱动的自纠正反思

Shuimu Chen, Yuteng Chen, Yuanshen Guan, Zebang Cheng, Zeyu Zhang, Shengqian Qin, Bin Xia, Jiaran Li, Wenming Yang, Fei Ma

机构 * Tsinghua University（清华大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） ； University of California（加利福尼亚大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出Reflect-R1框架，通过直觉、验证、仲裁三阶段管道动态检索客观视觉证据，并设计阶段解耦强化学习算法SD-GRPO解决策略耦合，在长视频理解基准上达到最优性能。

Comments 2026 ECCV

Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling

面向多模态大语言模型的长视频快速有效理解：自适应准高斯采样

Kun Zhang, Chenxin Fang, Tao Chen, Baiyang Song, Yunhang Shen, Yiyi Zhou, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出自适应无训练帧采样方法AdaQ，基于高斯分布3-σ规则动态调整采样区间，在仅用64帧下使Qwen3-VL-8B平均超越GPT4o 15.8%，显著提升长视频理解的鲁棒性和效率。

Comments NeurIPS 2026 submission. 15 pages, 8 figures

MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Hierarchical Graph Memory and Agentic Retrieval Mechanism

MemDreamer: 通过分层图记忆和智能体检索机制解耦感知与推理以实现长视频理解

Cong Chen, Guo Gan, Kaixiang Ji, ZhaoYang Zhang, Zhen Yang, Guangming Yao, Hao Chen, Jingdong Chen, Yi Yuan, Chunhua Shen

机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； Central South University（中南大学） ； HKUST(GZ)（香港科技大学(广州)） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出MemDreamer框架，通过分层图记忆和智能体检索机制解耦感知与推理，将长视频理解转化为智能体探索过程，在四个基准上达到SOTA，推理上下文窗口仅占全量2%且准确率提升12.5点。

HPP: Hierarchical Programmatic Probing for Long Video Understanding by Decoupling Perception and Reasoning

HPP：通过解耦感知与推理的分层程序化探测用于长视频理解

Awais Rauf, Ahmed Hasssan, Greg Slabaugh

机构 * Queen’s University Belfast（贝尔法斯特女王大学） ； AMD（AMD公司） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出HPP框架，通过将长视频理解重构为分层视频的迭代程序化探索，解耦语义感知与高阶时序推理，在LongVideoBench等基准上取得显著提升。

Comments Project page: https://awaisrauf.com/HPP

How Well Can Your Video Model Remember? Measuring Memory-Budget Trade-offs in Long Video Understanding

你的视频模型记忆能力如何？衡量长视频理解中的记忆-预算权衡

Yixian Tian

机构 * Fudan University（复旦大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出一个经验模型，量化帧预算B和时间距离D对长视频理解准确率的影响，发现准确率与log预算呈线性关系，且距离相关指数α(D)可衡量不同模型的长距离记忆效率。

Q-Fold: Query-Aware Focus-Context Spatio-Temporal Folding for Long Video Understanding

Q-Fold: 查询感知的焦点-上下文时空折叠用于长视频理解

Biao Tang, Xu Chen, Shuxiang Gou, Jingyi Yuan, Yuhan Zhang, Chenqiang Gao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出Q-Fold，一种无需训练的长视频输入构建框架，通过查询引导将相关片段保留为高保真焦点帧，不相关片段折叠为上下文布局，在固定预算下提升多模态大模型的长视频理解性能。

Comments 10 pages, 5 figures, 8 tables. Code will be made publicly available

Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding

不要暂停：面向在线视频理解的流式视频-语言同步

Zhenyu Yang, Kairui Zhang, Shengsheng Qian, Weiming Dong, Changsheng Xu

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；video-language(title,abstract)；分类 cs.CV

AI总结 提出流式视频-语言同步（SVLS）范式，通过帧驱动转换控制器和流式令牌调节器实现视频帧与语言生成的细粒度同步，在不中断感知的情况下进行实时交互。

VideoBrain: Learning Adaptive Frame Sampling for Long Video Understanding

VideoBrain: 学习自适应帧采样以理解长视频

Junbo Zou, Ziheng Huang, Shengjie Zhang, Liwen Zhang, Weining Shen

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 提出VideoBrain框架，通过CLIP和均匀采样双智能体策略，使视觉语言模型自适应获取关键帧，在减少30-40%帧数的同时提升长视频理解准确率3.5%-9.0%。

AdaFocus: Adaptive Relevance-Diversity Sampling with Zero-Cache Look-back for Efficient Long Video Understanding

AdaFocus: 一种基于零缓存回溯的自适应相关性-多样性采样方法以实现高效的长视频理解

Xiao Yang, Yingzhe Ma, Haoxuan Yu, Zixin Li, Ning Qin

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 本文提出AdaFocus框架，通过自适应相关性-多样性采样和零缓存回溯机制，有效平衡长视频理解中的时间覆盖、视觉细节和计算效率，实验表明其在效率-精度权衡上优于现有方法。

Comments 9 pages, 4 figures. Authors Xiao Yang and Yingzhe Ma contributed equally

HY-Himmel Technical Report: Hierarchical Interleaved Multi-stream Motion Encoding for Long Video Understanding

HY-Himmel技术报告：分层交错多流运动编码用于长视频理解

Haopeng Jin, Hongzhu Yi, Wenlong Zhao, Jinwen Luo, Shani Ye, Zhenyu Guan, Shiquan Dong, Tiankun Yang, Tao Yu

机构 * Tencent（腾讯） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Forestry University（北京林业大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title)；video-language(abstract)；分类 cs.CV

AI总结 HY-Himmel通过分层视频语言框架解决长视频理解中多模态语言模型的三个瓶颈问题，采用轻量级压缩域三流适配器编码密集帧，提升运动感知能力，实验证明其在Video-MME上性能优于32帧基准。

Comments 59 pages, 42 figures. Technical report

VideoDetective: Clue Hunting via both Extrinsic Query and Intrinsic Relevance for Long Video Understanding

VideoDetective：通过外在查询和内在相关性进行长视频理解的线索搜索

Ruoliu Yang, Chu Wu, Caifeng Shan, Ran He, Chaoyou Fu

机构 * Nanjing University（南京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 本文提出VideoDetective框架，通过结合查询与片段的相关性及片段间亲和力，有效定位长视频问答中的关键片段，提升多模态大语言模型在长视频理解中的性能。