视频大模型 - arXivDaily 专题

2606.21734 2026-06-23 cs.CV cs.AI 新提交 88%

HPP: Hierarchical Programmatic Probing for Long Video Understanding by Decoupling Perception and Reasoning

HPP：通过解耦感知与推理的分层程序化探测用于长视频理解

Awais Rauf, Ahmed Hasssan, Greg Slabaugh

机构 * Queen’s University Belfast（贝尔法斯特女王大学）； AMD（AMD公司）； Queen Mary University of London（伦敦玛丽女王大学）

专题命中视频理解：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结提出HPP框架，通过将长视频理解重构为分层视频的迭代程序化探索，解耦语义感知与高阶时序推理，在LongVideoBench等基准上取得显著提升。

Comments Project page: https://awaisrauf.com/HPP

2606.20726 2026-06-23 cs.CV 新提交 88%

How Well Can Your Video Model Remember? Measuring Memory-Budget Trade-offs in Long Video Understanding

你的视频模型记忆能力如何？衡量长视频理解中的记忆-预算权衡

Yixian Tian

机构 * Fudan University（复旦大学）； Beijing University of Posts and Telecommunications（北京邮电大学）

专题命中视频理解：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结提出一个经验模型，量化帧预算B和时间距离D对长视频理解准确率的影响，发现准确率与log预算呈线性关系，且距离相关指数α(D)可衡量不同模型的长距离记忆效率。

2606.22870 2026-06-23 cs.CV cs.AI 新提交 83%

VideoLatent: Video-Language Learning via Latent Self-Forcing

VideoLatent: 通过潜在自强制进行视频-语言学习

Zi-Yuan Hu, Zicong Tang, Shijia Huang, Yanyang Li, Michael R. Lyu, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学）； Weitu AI（微图AI）

专题命中视频理解：video-language(title)；video understanding(abstract)；video reasoning(abstract)；分类 cs.CV

AI总结提出VideoLatent，一种通过潜在自强制训练范式（包括潜在对齐和潜在多样性目标）进行视觉潜在推理的多模态大语言模型，仅依赖标准视频-问答三元组，在14个基准上优于现有模型，并大幅降低训练/推理开销。

2603.27259 2026-06-23 cs.CV 版本更新 83%

Seeing the Scene Matters: Revealing Forgetting in Video Understanding Models with a Scene-Aware Long-Video Benchmark

看到场景才重要：通过场景感知的长视频基准揭示视频理解模型中的遗忘现象

Seng Nam Chen, Hao Chen, Chenglam Ho, Xinyu Mao, Jinping Wang, Yu Zhang, Chao Li

机构 * CUHK (SZ)（香港中文大学（深圳））； University of Cambridge（剑桥大学）； UESTC（电子科技大学）； CUHK（香港中文大学）； Shanghai Jiao Tong University（上海交通大学）

专题命中视频理解：video understanding(title,abstract)；long video(abstract)；分类 cs.CV

AI总结本文提出SceneBench基准，揭示视频理解模型在长场景上下文中的遗忘问题，并提出Scene-RAG方法提升性能2.50%。

Comments Accepted to CVPR 2026 (Highlight)

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

2604.20937 2026-06-23 cs.LG 版本更新 78%

Sink-Token-Aware Pruning for Fine-Grained Video Understanding in Efficient Video LLMs

面向高效视频大语言模型的sink-token感知剪枝：用于细粒度视频理解

Kibum Kim, Jiwan Kim, Kyle Min, Yueqi Wang, Jinyoung Moon, Julian McAuley, Chanyoung Park

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国高级科学技术研究院）； Oracle ； University of California, San Diego（加州大学圣地亚哥分校）； Electronics and Telecommunications Research Institute (ETRI)（电子电信研究院）

专题命中视频理解：video understanding(title,abstract)

AI总结本文提出Sink-Token-aware Pruning方法，通过识别并抑制semantically uninformative tokens，提升细粒度视频理解性能，在多种基准测试中表现优异。

Comments ECCV 2026

2606.21358 2026-06-23 cs.CV 新提交 57%

LEViL: Label-Efficient Video Learning via Zero-Shot Distillation over VLM-Generated Pseudo-Label Spaces

LEViL: 通过VLM生成的伪标签空间上的零样本蒸馏实现标签高效视频学习

Aslı Çelik

机构 * Kocaeli University（科贾埃利大学）

专题命中视频理解：video-language(abstract)；分类 cs.CV

AI总结提出一种无需标注的视频预训练与目标标签集感知微调结合的标签高效视频学习框架，利用VLM生成伪标签空间进行零样本蒸馏，在有限标签下优于半监督方法。

2510.02561 2026-06-23 cs.CV cs.AI 版本更新 57%

Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models using Reinforcement Learning from Ranking Feedback

Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法

Derek Shi, Ruben Glatt, Christine Klymko, Shubham Mohole, Hongjun Choi, Shashank Kushwaha, Sam Sakla, Felipe Leno da Silva

机构 * Stanford University（斯坦福大学）； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）； Microsoft（微软公司）

专题命中视频理解：video-language(abstract)；分类 cs.CV

AI总结提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。

Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)

Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026

2508.13744 2026-06-23 cs.CV cs.AI 版本更新 57%

Mitigating Cross-Image Information Leakage in Multi-Image Understanding with Large Vision-Language Models

缓解多图像理解中大型视觉语言模型的跨图像信息泄露

Yeji Park, Minyoung Lee, Sanghyuk Chun, Junsuk Choe

机构 * Sogang University（ソガン大学）； Princeton University（普林斯顿大学）； NAVER AI Lab（NAVER AI实验室）

专题命中视频理解：video understanding(abstract)；分类 cs.CV

AI总结针对大型视觉语言模型在多图像输入时性能下降的问题，提出无需训练且架构无关的FOCUS方法，通过随机噪声掩码和噪声参考输入抑制跨图像信息泄露，显著提升多图像和视频理解性能。

Comments Source code is available at https://github.com/yejipark-m/FOCUS

1. 视频理解 8 篇