Diagnosing Long-Video Quantitative Reasoning in Multimodal LLMs via Enumeration and Counting
EC-Bench:超长视频的枚举与计数基准
机构 * The University of Tokyo, Japan(东京大学) ; Institute of Science Tokyo, Japan(东京科学大学) ; National Institute of Informatics, Japan(国立信息学研究所)
专题命中 长视频与时序推理 :long video(title,abstract);video reasoning(abstract);分类 cs.CV
AI总结 EC-Bench针对超长视频的枚举与计数问题,通过152部超过30分钟的视频和1699个查询,评估多模态大语言模型的性能,揭示模型在时间推理和计数任务中的局限性。
Comments The first two authors are equally contributed. The data and code are publicly available at: https://github.com/matsuolab/EC-Bench