视频大模型

Localizing Moments in Video with Temporal Language

Lisa Anne Hendricks, Oliver Wang, Eli Shechtman, Josef Sivic, Trevor Darrell, Bryan Russell

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV

Comments EMNLP 2018

Attentive Sequence to Sequence Translation for Localizing Clips of Interest by Natural Language Descriptions

Ke Ning, Linchao Zhu, Ming Cai, Yi Yang, Di Xie, Fei Wu

专题命中 视频数据与评测 ：video-language(abstract)；分类 cs.CV

Detect-and-Track: Efficient Pose Estimation in Videos

Rohit Girdhar, Georgia Gkioxari, Lorenzo Torresani, Manohar Paluri, Du Tran

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV

Comments In CVPR 2018. Ranked first in ICCV 2017 PoseTrack challenge (keypoint tracking in videos). Code: https://github.com/facebookresearch/DetectAndTrack and webpage: https://rohitgirdhar.github.io/DetectAndTrack/

Charades-Ego: A Large-Scale Dataset of Paired Third and First Person Videos

Gunnar A. Sigurdsson, Abhinav Gupta, Cordelia Schmid, Ali Farhadi, Karteek Alahari

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV

AVA: A Video Dataset of Spatio-temporally Localized Atomic Visual Actions

Chunhui Gu, Chen Sun, David A. Ross, Carl Vondrick, Caroline Pantofaru, Yeqing Li, Sudheendra Vijayanarasimhan, George Toderici, Susanna Ricco, Rahul Sukthankar, Cordelia Schmid, Jitendra Malik

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV

Comments To appear in CVPR 2018. Check dataset page https://research.google.com/ava/ for details

Aggregating Frame-level Features for Large-Scale Video Classification

Shaoxiang Chen, Xi Wang, Yongyi Tang, Xinpeng Chen, Zuxuan Wu, Yu-Gang Jiang

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV

Comments Youtube-8M Challenge, 4th place

VideoMCC: a New Benchmark for Video Comprehension

Du Tran, Maksim Bolonkin, Manohar Paluri, Lorenzo Torresani

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV

PKU-MMD: A Large Scale Benchmark for Continuous Multi-Modal Human Action Understanding

Chunhui Liu, Yueyu Hu, Yanghao Li, Sijie Song, Jiaying Liu

专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV

Comments 10 pages

Fine-To-Coarse Global Registration of RGB-D Scans

Maciej Halber, Thomas Funkhouser

专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV

Personalizing Human Video Pose Estimation

James Charles, Tomas Pfister, Derek Magee, David Hogg, Andrew Zisserman

专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV

Comments CVPR 2016

A Novel Approach for Video Temporal Annotation

Hadi Restgou Haghi, Mohammadreza Kangavari, Behrang QasemiZadeh

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.MM

Comments Published in a Local Confrence, 2006

Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models

开放评估智能体：视觉生成模型的高效且可提示的评估

Shulin Tian, Ziqi Huang, Fan Zhang, Hongyuan Zhu, Yu Qiao, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； Agency for Science, Technology and Research (A*STAR)（科学、技术与研究局（A*STAR）） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视频数据与评测 ：video generation(abstract)

AI总结 该研究提出Evaluation Agent框架及基于其构建的Open-EA，可高效评估视觉生成模型，将评估时间减至传统方法的10%，还通过EA-CoT-10K和EA-3B减少对专有骨干的依赖，验证了其在多基准及跨家族的有效性。

Comments Journal extension of our ACL 2025 paper (arXiv:2412.09645). 12 pages. Code: https://github.com/Vchitect/Evaluation-Agent

Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents

首届“教学怪兽挑战赛”的研究发现：AI智能体的教学内容知识基准

Yi-Cheng Lin, Yu-Kai Guo, Szu-Chi Chen, Bo-Han Feng, Yun-Man Hsu, Hsiang Hsieh, Yu-Jung Lin, Yue-Ling Wu, Jia-Kai Dong, An-Yu Cheng, Yu-Han Huang, Lok-Lam Ieong, Kuan-Yu Chen, Ming-Douo Tchouang, Shao-Hua Sun, Che Lin, Jian-Jiun Ding, Hung-yi Lee

专题命中 视频数据与评测 ：video generation(abstract)

AI总结 研究推出首个以学习者角色为评估标准的教学视频生成基准“教学怪兽挑战赛”，测试发现当前AI教学系统内容适配能力不足，自动裁判存在局限，发布相关资源供后续研究。

SurgWMBench: A Vision-Based Benchmark for World-Modeling Surgical Instrument Motion Planning

SurgWMBench：面向世界建模的手术器械运动规划视觉基准

Huanrong Liu, Weiliang Huang, Bob Zhang, Weichao Cai, Chunlin Tian, Qingbiao Li

机构 * University of Macau（澳门大学） ； National University of Singapore（新加坡国立大学） ； Xiamen University（厦门大学） 纠错

专题命中 视频数据与评测 ：video understanding(abstract)

AI总结 本文提出SurgWMBench，一种面向短程手术运动规划的视觉基准，可评估手术世界模型的器械运动预测与连续回推稳定性，解决现有指标与器械规划需求不匹配的问题。

Med-CRAFT: An Information System for Explainable and Configurable Construction of Multimodal Medical QA Datasets

Med-CRAFT：通过知识图谱遍历自动构建可解释的多跳视频工作负载

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li

机构 * Beijing Institute of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 视频数据与评测 ：video reasoning(abstract)

AI总结 Med-CRAFT通过知识图谱遍历自动构建可解释的多跳视频工作负载，生成具有细粒度时间选择性和多跳逻辑复杂性的医疗视频推理基准。

Comments 23 pages, 4 figures, 10 tables

PiL-World: A Chunk-Wise World Model for VLA Policy-in-the-Loop Evaluation

PiL-World: 用于VLA策略环内评估的块式世界模型

Chong Ma, Taiyi Su, Jian Zhu, Jianjun Zhang, Zitai Huang, Yi Xu, Hanli Wang

机构 * Tongji University（同济大学） ； AIRC, Midea Group（美的集团人工智能研究院） 纠错

专题命中 视频数据与评测 ：video generation(abstract)

AI总结 提出PiL-World，一种块式世界模型，通过交替VLA推理和世界模型预测实现闭环评估，无需真实机器人执行，显著降低成功率估计误差。

PRISM: A Benchmark for Programmatic Spatial-Temporal Reasoning

PRISM：一个程序化空间-时间推理的基准测试

Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 视频数据与评测 ：video generation(abstract)

AI总结 本文提出PRISM基准测试，通过大规模人类校准的指令-代码对（共10,372个，比之前基准大20倍），评估语言模型生成空间正确动画输出的能力，并揭示执行成功率与空间正确率之间的显著差距。

OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs

OmniVideoBench: 向多模态大语言模型的音频-视觉理解评估迈进

Caorui Li, Yu Chen, Yiyan Ji, Jin Xu, Zhenyu Cui, Shihao Li, Yuanxing Zhang, Wentao Wang, Zhenghao Song, Dingling Zhang, Ying He, Haoxiang Liu, Yuxuan Wang, Qiufeng Wang, Jiafu Tang, Zhenhe Wu, Jiehui Luo, Zhiyu Pan, Weihao Xie, Chenchen Zhang, Zhaohui Wang, Jiayi Tian, Yanghai Wang, Zhe Cao, Minxin Dai, Ke Wang, Runzhe Wen, Yinghao Ma, Yaning Pan, Sungkyun Chang, Termeh Taheri, Haiwen Xia, Christos Plachouras, Emmanouil Benetos, Yizhi Li, Ge Zhang, Jian Yang, Tianhao Peng, Zili Wang, Minghao Liu, Junran Peng, Zhaoxiang Zhang, Jiaheng Liu

机构 * NJU-LINK Team（南京大学链接团队） 纠错

专题命中 视频数据与评测 ：video understanding(abstract)

AI总结 OmniVideoBench通过大规模基准测试评估多模态大语言模型在音频-视觉理解中的协同推理能力，揭示模型与人类推理间的显著差距。

OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging

OptMerge: 通过模型融合统一多模态大语言模型的能力与模态

Yongxian Wei, Runxi Cheng, Weike Jin, Enneng Yang, Li Shen, Lu Hou, Sinan Du, Chun Yuan, Xiaochun Cao, Dacheng Tao

机构 * Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频数据与评测 ：video-language(abstract)

AI总结 OptMerge通过模型融合统一多模态大语言模型的能力与模态，提出基准和算法提升性能2.48%

The Trinity of Consistency as a Defining Principle for General World Models

一致性三元组作为一般世界模型的定义原则

Jingxuan Wei, Siyuan Li, Yuhang Xu, Zheng Sun, Junjie Jiang, Hexuan Jin, Caijun Jia, Honghao He, Xinglong Xu, Xi bai, Chang Yu, Yumou Liu, Junnan Zhu, Xuanhe Zhou, Jintao Chen, Xiaobin Hu, Shancheng Pang, Bihui Yu, Ran He, Zhen Lei, Stan Z. Li, Conghui He, Shuicheng Yan, Cheng Tan

专题命中 视频数据与评测 ：video generation(abstract)

AI总结 本文提出一致性三元组作为定义通用世界模型的原则，通过系统回顾多模态学习的演变，引入CoW-Bench基准测试，明确未来发展方向。

Comments 119 pages, 50 figures

SurgPub-Video: A Comprehensive Surgical Video Dataset for Enhanced Surgical Intelligence in Vision-Language Model

SurgPub-Video: 一个全面的外科视频数据集，用于增强视觉-语言模型中的外科智能

Yaoqian Li, Xikai Yang, Dunyuan Xu, Yang Yu, Litao Zhao, Xiaowei Hu, Jinpeng Li, Pheng-Ann Heng

专题命中 视频数据与评测 ：video understanding(abstract)

AI总结 SurgPub-Video数据集和SurgLLaVA-Video模型通过提供高质量外科视频数据和专门的视觉-语言模型，提升了手术场景分析的智能水平。

Journal ref AAAI-2026

Scalable Policy Evaluation with Video World Models

可扩展的策略评估与视频世界模型

Wei-Cheng Tseng, Jinwei Gu, Qinsheng Zhang, Hanzi Mao, Ming-Yu Liu, Florian Shkurti, Lin Yen-Chen

机构 * Nvidia Research（Nvidia 研究院） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 视频数据与评测 ：video generation(abstract)

AI总结 本文提出利用动作条件视频生成模型进行可扩展的策略评估，通过预训练模型利用互联网视频数据，减少现实世界测试需求，提升机器人策略评估效率。

WorldGym: World Model as An Environment for Policy Evaluation

Julian Quevedo, Ansh Kumar Sharma, Yixiang Sun, Varad Suryavanshi, Percy Liang, Sherry Yang

机构 * Stanford University（斯坦福大学） ； NYU（纽约大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频数据与评测 ：video generation(abstract)

Comments https://world-model-eval.github.io

MOMENTS: A Comprehensive Multimodal Benchmark for Theory of Mind

Emilio Villa-Cueva, S M Masrur Ahmed, Rendi Chevi, Jan Christian Blaise Cruz, Kareem Elzeky, Fermin Cristobal, Alham Fikri Aji, Skyler Wang, Rada Mihalcea, Thamar Solorio

机构 * MBZUAI ； University of Houston（德克萨斯大学休斯顿分校） ； McGill University（麦吉尔大学） ； University of Michigan（密歇根大学） 纠错

专题命中 视频数据与评测 ：long video(abstract)

Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios

Yunkai Dang, Mengxi Gao, Yibo Yan, Xin Zou, Yanggan Gu, Jungang Li, Jingyu Wang, Peijie Jiang, Aiwei Liu, Jia Liu, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频数据与评测 ：video understanding(abstract)

BEARCUBS: A benchmark for computer-using web agents

Yixiao Song, Katherine Thai, Chau Minh Pham, Yapei Chang, Mazin Nadaf, Mohit Iyyer

机构 * UMass Amherst ； University of Maryland, College Park（美国马里兰大学学院公园分校） 纠错

专题命中 视频数据与评测 ：video understanding(abstract)

Comments 16 pages

AffectGPT: A New Dataset, Model, and Benchmark for Emotion Understanding with Multimodal Large Language Models

Zheng Lian, Haoyu Chen, Lan Chen, Haiyang Sun, Licai Sun, Yong Ren, Zebang Cheng, Bin Liu, Rui Liu, Xiaojiang Peng, Jiangyan Yi, Jianhua Tao

专题命中 视频数据与评测 ：video understanding(abstract)

VidMusician: Video-to-Music Generation with Semantic-Rhythmic Alignment via Hierarchical Visual Features

Sifei Li, Binxin Yang, Chunji Yin, Chong Sun, Yuxin Zhang, Weiming Dong, Chen Li

专题命中 视频数据与评测 ：video understanding(abstract)

SMILE: Multimodal Dataset for Understanding Laughter in Video with Language Models

Lee Hyun, Kim Sung-Bin, Seungju Han, Youngjae Yu, Tae-Hyun Oh

专题命中 视频数据与评测 ：video understanding(abstract)

Comments 19 pages, 14 figures

A Content-Driven Micro-Video Recommendation Dataset at Scale

Yongxin Ni, Yu Cheng, Xiangyan Liu, Junchen Fu, Youhua Li, Xiangnan He, Yongfeng Zhang, Fajie Yuan

专题命中 视频数据与评测 ：video understanding(abstract)