视频大模型

HourVideo: 1-Hour Video-Language Understanding

Keshigeyan Chandrasegaran, Agrim Gupta, Lea M. Hadzic, Taran Kota, Jimming He, Cristóbal Eyzaguirre, Zane Durante, Manling Li, Jiajun Wu, Li Fei-Fei

专题命中 视频数据与评测 ：video-language(title,abstract)；long video(abstract)；分类 cs.CV

Comments NeurIPS 2024 Datasets and Benchmarks Track; 28 pages

ChronoMagic-Bench: A Benchmark for Metamorphic Evaluation of Text-to-Time-lapse Video Generation

Shenghai Yuan, Jinfa Huang, Yongqi Xu, Yaoyang Liu, Shaofeng Zhang, Yujun Shi, Ruijie Zhu, Xinhua Cheng, Jiebo Luo, Li Yuan

专题命中 视频数据与评测 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

Comments NeurIPS D&B 2024 (Spotlight)

LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

Haoning Wu, Dongxu Li, Bei Chen, Junnan Li

专题命中 视频数据与评测 ：video-language(title,abstract)；video understanding(abstract)；分类 cs.CV

Comments 29 pages

VideoHallucer: Evaluating Intrinsic and Extrinsic Hallucinations in Large Video-Language Models

Yuxuan Wang, Yueqian Wang, Dongyan Zhao, Cihang Xie, Zilong Zheng

专题命中 视频数据与评测 ：video-language(title,abstract)；video understanding(abstract)；分类 cs.CV

How Good is my Video LMM? Complex Video Reasoning and Robustness Evaluation Suite for Video-LMMs

Muhammad Uzair Khattak, Muhammad Ferjad Naeem, Jameel Hassan, Muzammal Naseer, Federico Tombari, Fahad Shahbaz Khan, Salman Khan

专题命中 视频数据与评测 ：video reasoning(title,abstract)；video understanding(abstract)；分类 cs.CV

Comments Technical report

ViLMA: A Zero-Shot Benchmark for Linguistic and Temporal Grounding in Video-Language Models

Ilker Kesen, Andrea Pedrotti, Mustafa Dogan, Michele Cafagna, Emre Can Acikgoz, Letitia Parcalabescu, Iacer Calixto, Anette Frank, Albert Gatt, Aykut Erdem, Erkut Erdem

专题命中 视频数据与评测 ：video-language(title,abstract)；video language model(abstract)；分类 cs.CV

Comments Preprint. 48 pages, 22 figures, 10 tables

Youku-mPLUG: A 10 Million Large-scale Chinese Video-Language Dataset for Pre-training and Benchmarks

Haiyang Xu, Qinghao Ye, Xuan Wu, Ming Yan, Yuan Miao, Jiabo Ye, Guohai Xu, Anwen Hu, Yaya Shi, Guangwei Xu, Chenliang Li, Qi Qian, Maofei Que, Ji Zhang, Xiao Zeng, Fei Huang

专题命中 视频数据与评测 ：video-language(title,abstract)；video understanding(abstract)；分类 cs.CV

Comments Working in progress

VNU-Bench: A Benchmarking Dataset for Multi-Source Multimodal News Video Understanding

VNU-Bench：多源多模态新闻视频理解的基准数据集

Zibo Liu, Muyang Li, Zhe Jiang, Shigang Chen

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 视频数据与评测 ：video understanding(title,abstract)；video reasoning(abstract)

AI总结 VNU-Bench是首个多源多模态新闻视频理解基准数据集，通过设计新颖问题类型和混合生成方法，评估模型跨源信息整合能力。

InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation

Yi Wang, Yinan He, Yizhuo Li, Kunchang Li, Jiashuo Yu, Xin Ma, Xinhao Li, Guo Chen, Xinyuan Chen, Yaohui Wang, Conghui He, Ping Luo, Ziwei Liu, Yali Wang, Limin Wang, Yu Qiao

专题命中 视频数据与评测 ：video generation(abstract)；video understanding(abstract)；text-to-video(abstract)；video-language(abstract)

Comments Data and Code: https://github.com/OpenGVLab/InternVideo/tree/main/Data/InternVid

GenState-AI: State-Aware Dataset for Text-to-Video Retrieval on AI-Generated Videos

GenState-AI：面向AI生成视频的基于状态的文本到视频检索数据集

Minghan Li, Tongna Chen, Tianrui Lv, Yishuai Zhang, Suchao An, Guodong Zhou

专题命中 视频数据与评测 ：text-to-video(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出GenState-AI数据集，通过可控状态转换和显式端状态标注，解决文本到视频检索中时间推理和端状态定位不足的问题，评估两种基线模型并分析时间与语义混淆源。

MSVBench: Towards Human-Level Evaluation of Multi-Shot Video Generation

MSVBench: 向多镜头视频生成的人机水平评估迈进

Haoyuan Shi, Yunxin Li, Nanhao Deng, Zhenran Xu, Xinyu Chen, Longyue Wang, Baotian Hu, Min Zhang

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Alibaba International Digital Commerce（阿里巴巴国际数字商业） 纠错

专题命中 视频数据与评测 ：video generation(title,abstract)；分类 cs.CV、cs.MM

AI总结 MSVBench通过引入分层脚本和参考图像，提出混合评估框架，验证了视频生成模型的连贯性和吸引力，并展示了其在多镜头视频生成中的有效性。

A Very Big Video Reasoning Suite

一个非常大的视频推理套件

Maijunxian Wang, Ruisi Wang, Juyi Lin, Ran Ji, Thaddäus Wiedemer, Qingying Gao, Dezhi Luo, Yaoyao Qian, Lianyu Huang, Zelong Hong, Jiahui Ge, Qianli Ma, Hang He, Yifan Zhou, Lingzi Guo, Lantao Mei, Jiachen Li, Hanwen Xing, Tianqi Zhao, Fengyuan Yu, Weihang Xiao, Yizheng Jiao, Jianheng Hou, Danyang Zhang, Pengcheng Xu, Boyang Zhong, Zehong Zhao, Gaoyun Fang, John Kitaoka, Yile Xu, Hua Xu, Kenton Blacutt, Tin Nguyen, Siyuan Song, Haoran Sun, Shaoyue Wen, Linyang He, Runming Wang, Yanzhi Wang, Mengyue Yang, Ziqiao Ma, Raphaël Millière, Freda Shi, Nuno Vasconcelos, Daniel Khashabi, Alan Yuille, Yilun Du, Ziming Liu, Bo Li, Dahua Lin, Ziwei Liu, Vikash Kumar, Yijiang Li, Lei Yang, Zhongang Cai, Hokin Deng

机构 * University of California, Berkeley（加州大学伯克利分校） ； Nanyang Technological University（南洋理工大学） ； Northeastern University（东北大学） ； University of Tübingen（图宾根大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Michigan（密歇根大学） ； University of Southern California（南加州大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Shanghai Jiao Tong University（上海交通大学） ； East China Normal University（华东师范大学） ； Stanford University（斯坦福大学） ； University of Texas at Austin（得克萨斯大学奥斯汀分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Cornell University（康奈尔大学） ； San Jose State University（圣何塞州立大学） ； University of California, Irvine（加州大学尔湾分校） ； Technical University of Munich（慕尼黑技术大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Imperial College London（伦敦帝国学院） ； University of Wisconsin--Madison（威斯康星大学麦迪逊分校） ； University of Edinburgh（爱丁堡大学） ； Hong Kong University of Science（香港科学大学） ； New York University（纽约大学） ； Auburn University（阿伯丁大学） ； Columbia University（哥伦比亚大学） ； University of Bristol（布里斯托大学） ； University of Waterloo（滑铁卢大学） ； The Chinese University of Hong Kong（香港中文大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Oxford（牛津大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视频数据与评测 ：video reasoning(title,abstract)；分类 cs.CV、cs.MM

AI总结 VBVR数据集和评估框架旨在解决视频推理能力研究中的大规模数据缺乏问题，通过大规模实验观察到对未见任务的泛化能力。

Comments Homepage: https://video-reason.com/

LongInsightBench: A Comprehensive Benchmark for Evaluating Omni-Modal Models on Human-Centric Long-Video Understanding

ZhaoYang Han, Qihan Lin, Hao Liang, Bowen Chen, Zhou Liu, Wentao Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） 纠错

专题命中 视频数据与评测 ：video understanding(title)；long video(abstract)；分类 cs.CV、cs.MM

Comments Submitted to ARR Rolling Review

MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding

Xinyu Fang, Kangrui Mao, Haodong Duan, Xiangyu Zhao, Yining Li, Dahua Lin, Kai Chen

专题命中 视频数据与评测 ：video understanding(title,abstract)；分类 cs.CV、cs.MM

Comments Accepted in NeurIPS 2024 Datasets and Benchmarks Track

CinePile: A Long Video Question Answering Dataset and Benchmark

Ruchit Rawal, Khalid Saifullah, Miquel Farré, Ronen Basri, David Jacobs, Gowthami Somepalli, Tom Goldstein

专题命中 视频数据与评测 ：long video(title)；video understanding(abstract)；分类 cs.CV、cs.MM

Comments Project page with all the artifacts - https://ruchitrawal.github.io/cinepile/. Updated version with adversarial refinement pipeline and more model evaluations

NoisyActions2M: A Multimedia Dataset for Video Understanding from Noisy Labels

Mohit Sharma, Raj Patra, Harshal Desai, Shruti Vyas, Yogesh Rawat, Rajiv Ratn Shah

专题命中 视频数据与评测 ：video understanding(title,abstract)；分类 cs.CV、cs.MM

Comments Accepted at ACM Multimedia Asia 2021

What comprises a good talking-head video generation?: A Survey and Benchmark

Lele Chen, Guofeng Cui, Ziyi Kou, Haitian Zheng, Chenliang Xu

专题命中 视频数据与评测 ：video generation(title,abstract)；分类 cs.CV、eess.IV

Hierarchical Deep Recurrent Architecture for Video Understanding

Luming Tang, Boyang Deng, Haiyu Zhao, Shuai Yi

专题命中 视频数据与评测 ：video understanding(title,abstract)；分类 cs.CV

Comments Accepted as Classification Challenge Track paper in CVPR 2017 Workshop on YouTube-8M Large-Scale Video Understanding

I Seek You in Videos: Identity-Conditioned Queries for Person-Centric Video Reasoning

我在视频中寻找你：面向以人为中心的视频推理的身份条件查询

Shibo Gao, Chongxiao Wang, Chenglong Huang, Jie Ma, Haolin Shi, Fei Ding, Jing Li, Qiang Lyu, Yangyang Liu, Yang Liu, Jun Liu, Linlin Huang, Peipei Yang

机构 * Beijing Jiaotong University（北京交通大学） ； HUJING Digital Media & Entertainment Group（汇晶数字媒体与娱乐集团） ； MAIS Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） 纠错

专题命中 视频数据与评测 ：video reasoning(title,abstract)；分类 cs.CV

AI总结 该研究提出了身份条件查询（ICQ）任务，构建了ISYV基准、训练集与框架，实验显示主流多模态大语言模型在该任务上表现不佳，ISYV模型性能优于强基线且接近闭源模型。

Comments Accepted to ACM Multimedia 2026 (MM '26). 6 figures, 5 tables

LVSum: A Benchmark for Timestamp-Aware Long Video Summarization

LVSum：一个用于时间感知长视频摘要的基准测试

Alkesh Patel, Melis Ozyildirim, Ying-Chang Cheng, Ganesh Nagarajan

机构 * Apple（苹果公司） 纠错

专题命中 视频数据与评测 ：long video(title,abstract)；分类 cs.CV

AI总结 本文提出LVSum基准测试，用于评估长视频摘要中时间对齐的性能，通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。

Comments 25 pages, 5 tables, 3 figures

CycliST: A Video Language Model Benchmark for Reasoning on Cyclical State Transitions

CycliST：用于循环状态转换推理的视频语言模型基准

Simon Kohaut, Daniel Ochs, Shun Zhang, Benedict Flade, Julian Eggert, Kristian Kersting, Devendra Singh Dhami

机构 * Artificial Intelligence and Machine Learning Lab, TU Darmstadt（人工智能与机器学习实验室，图腾斯达特技术大学） ； Konrad Zuse School of Excellence in Learning and Intelligent Systems (ELIZA)（Konrad Zuse 学校（ELIZA）） ； Honda Research Institute Europe GmbH, Offenbach, Germany（本田欧洲研究院，奥芬巴赫，德国） ； Uncertainty in Artificial Intelligence Group, TU Eindhoven（人工智能不确定性小组，埃因霍温技术大学） ； Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI）） ； Center for Cognitive Science（认知科学中心） ； German Center for Artificial Intelligence (DFKI)（德国人工智能中心（DFKI）） 纠错

专题命中 视频数据与评测 ：video language model(title,abstract)；分类 cs.CV

AI总结 提出CycliST基准，通过合成视频评估视频语言模型对循环状态转换的文本推理能力，揭示现有模型在检测循环模式、时间理解和定量分析方面的局限。

Comments Published in the Journal of Data-centric Machine Learning Research (DMLR); https://openreview.net/forum?id=l03g53HUL2

Journal ref Journal of Data-centric Machine Learning Research, 2026

Natural-Language Temporal Grounding in Hour-Long Videos is a Search Problem: A Benchmark and Empirical Decomposition

自然语言在小时级视频中的时间定位是一个搜索问题：基准与经验分解

Sukmin Seo, Geewook Kim

机构 * NAVER Cloud AI ； KAIST AI（韩国科学技术院人工智能系） 纠错

专题命中 视频数据与评测 ：long video(title,abstract)；分类 cs.CV

AI总结 针对小时级视频的自然语言时间定位，提出搜索是主要瓶颈而非识别，发布首个开放小时级定位基准ExtremeWhenBench，并通过检索-定位混合方法显著提升性能。

Comments 10 pages, 6 figures, Code and benchmark: https://github.com/naver-ai/ExtremeWhenBench

AgentCVR: Active Multi-Agent Cross-Video Reasoning via Script-Simulated Reinforcement Learning

AgentCVR：通过脚本模拟强化学习的主动多智能体跨视频推理

Yilun Qiu, Jiahe Wang, Cilin Yan, Jiayin Cai, Xiaolong Jiang, Yao Hu, Chun Yuan

机构 * Xiaohongshu Inc.（小红书公司） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生学院，清华大学） 纠错

专题命中 视频数据与评测 ：video reasoning(title,abstract)；分类 cs.CV

AI总结 提出AgentCVR多智能体框架，将跨视频推理视为主动证据获取任务，通过主智能体协调视觉和音频智能体进行定向证据提取，并引入脚本模拟强化学习优化策略，在跨视频对齐和定位任务上超越单次基线，达到与闭源系统相当的性能。

Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding

Video-MME-v2：迈向综合视频理解基准的下一阶段

Chaoyou Fu, Haozhi Yuan, Yuhao Dong, Yi-Fan Zhang, Yunhang Shen, Xiaoxing Hu, Xueying Li, Jinsen Su, Chengwu Long, Xiaoyao Xie, Yongkang Xie, Xiawu Zheng, Xue Yang, Haoyu Cao, Yunsheng Wu, Ziwei Liu, Xing Sun, Caifeng Shan, Ran He

专题命中 视频数据与评测 ：video understanding(title,abstract)；分类 cs.CV

AI总结 Video-MME-v2通过三级层次结构和非线性评估策略，评估视频理解的鲁棒性和准确性，揭示当前模型与人类专家间的差距及多模态推理瓶颈。

Comments Homepage: https://video-mme-v2.netlify.app/

VABench: A Comprehensive Benchmark for Audio-Video Generation

VABench：音频视频生成的综合性基准

Daili Hua, Xizhi Wang, Bohan Zeng, Xinyi Huang, Hao Liang, Junbo Niu, Xinlong Chen, Quanqing Xu, Wentao Zhang

机构 * Peking University（北京大学） ； Zhongguancun Academy（中关村学院） ； Beijing Key Laboratory of Data Intelligence (Peking University)（北京市数据智能重点实验室（北京大学）） ； Ant Group（蚂蚁集团） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视频数据与评测 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出VABench，一个用于评估同步音频视频生成能力的综合性基准，涵盖三种任务类型和15个评估维度，旨在建立新的评估标准以推动视频生成领域的发展。

Comments 24 pages, 25 figures

Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning

Know-Show：在时空 grounded 推理上评估视频语言模型的基准测试

Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Institute of High-Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所） ； Centre for Frontier AI Research, Agency for Science, Technology and Research（新加坡科技研究局前沿人工智能研究中心） 纠错

专题命中 视频数据与评测 ：video-language(title,abstract)；分类 cs.CV

AI总结 Know-Show基准测试评估视频语言模型在时空 grounded 推理能力，通过五个互补场景揭示现有模型与人类推理的差距，并提出GRAM方法提升模型的细粒度 grounded 推理能力。

SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models

SoliReward: 缓解视频生成奖励模型对奖励黑客和标注噪声的敏感性

Jiesong Lian, Ruizhe Zhong, Zixiang Zhou, Xiaoyue Mi, Long Hu, Yuan Zhou, Qinglin Lu, Yixue Hao, Junchi Yan

专题命中 视频数据与评测 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出SoliReward框架，通过单项目二元标注获取高质量数据，采用交叉提示配对策略构建偏好对，并引入改进的BT损失函数以缓解奖励黑客问题，提升视频生成奖励模型的鲁棒性。

Comments 16 pages, 9 figures

LongVidSearch: An Agentic Benchmark for Multi-hop Evidence Retrieval Planning in Long Videos

LongVidSearch: 一种多跳证据检索规划的代理基准

Rongyi Yu, Chenyuan Duan, Wentao Zhang

专题命中 视频数据与评测 ：long video(title,abstract)；分类 cs.CV

AI总结 LongVidSearch 是一个评估长视频中多跳证据检索规划的基准，通过标准化接口强制多跳检索，包含3000个问题，涵盖四种推理类别，测试代理在相同访问条件下检索规划的准确性与效率。

Comments 12 pages, 2 figures, appendix included

CircuitProbe: Tracing Visual Temporal Evidence Flow in Video Language Models

CircuitProbe: 跟踪视频语言模型中的视觉时间证据流

Yiming Zhang, Zhuokai Zhao, Chengzhang Yu, Kun Wang, Zhendong Chu, Qiankun Li, Zihan Chen, Yang Liu, Zenghui Ding, Yining Sun, Qingsong Wen

专题命中 视频数据与评测 ：video language model(title)；video-language(abstract)；分类 cs.CV

AI总结 研究提出CircuitProbe框架，通过视觉审计和语义追踪分析视频语言模型中的时间证据流，设计针对性干预提升时间理解性能。

APPO: Attention-guided Perception Policy Optimization for Video Reasoning

APPO：基于注意力的视频推理感知策略优化

Henghui Du, Chang Zhou, Xi Chen, Di Hu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing（中国人民大学北京校区人工智能学院） ； AI Technology Center, Online Video Business Unit, Tencent PCG（腾讯PCG人工智能技术中心） 纠错

专题命中 视频数据与评测 ：video reasoning(title,abstract)；分类 cs.CV

AI总结 APPO通过基于注意力的感知策略优化，利用token级奖励提升视频推理中的细粒度感知能力，有效提高模型性能。