视频大模型

SONIC-O1: A Real-World Benchmark for Evaluating Multimodal Large Language Models on Audio-Video Understanding

SONIC-O1：用于评估多模态大语言模型在音视频理解上的真实世界基准

Ahmed Y. Radwan, Christos Emmanouilidis, Hina Tabassum, Deval Pandya, Shaina Raza

机构 * Vector Institute for Artificial Intelligence（向量人工智能研究所） ； University of Groningen（Groningen大学） ； York University（约克大学） 纠错

专题命中 视频数据与评测 ：video understanding(title)；分类 cs.CV

AI总结 提出SONIC-O1基准，包含60小时人工验证的音视频数据，评估多模态大语言模型在开放摘要、多项选择问答和时序定位上的能力，发现模型在时序定位上存在显著性能差距和人口统计偏差。

AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks?

AgenticVBench: AI代理能否完成真实的后期制作任务？

Zongheng Cao, Yi Zheng, Rui Song, Xinyu Hu

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.MM

AI总结 本文提出AgenticVBench基准，包含100个来自真实后期制作流程的代理任务，评估多模态AI代理的复合能力，发现最佳代理栈性能仅略超30%，远低于人类专家。

Comments 22 pages, 6 figures. Benchmark website: https://agenticvbench.com