视频大模型

Do Modern Video-LLMs Need to Listen? A Benchmark Audit and Scalable Remedy

现代视频大语言模型需要听觉吗？基准审计与可扩展补救措施

Geewook Kim, Minjoon Seo

机构 * NAVER Cloud AI（NAVER云AI） ； KAIST AI（韩国国立庆北大学AI） 纠错

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV、cs.MM

AI总结 通过审计10个视频基准发现多数任务仅凭视觉即可解决，音频未被充分利用；提出在LLaVA-OneVision上附加语音/音频编码器，采用25倍令牌压缩，实验证明音频在需要语音理解或跨模态对齐的任务上带来显著提升。

Comments Accepted to Interspeech 2026

MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos

MMOU：面向长且复杂真实世界视频的大规模多任务全模态理解与推理基准

Arushi Goel, Sreyan Ghosh, Vatsal Agarwal, Nishit Anand, Kaousheik Jayakumar, Lasha Koroshinadze, Yao Xu, Katie Lyons, James Case, Karan Sapra, Kevin J. Shih, Siddharth Gururani, Abhinav Shrivastava, Ramani Duraiswami, Dinesh Manocha, Andrew Tao, Bryan Catanzaro, Mohammad Shoeybi, Wei Ping

机构 * NVIDIA, USA（NVIDIA美国分公司） ； University of Maryland, College Park, USA（马里兰大学帕克分校） 纠错

专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV

AI总结 提出MMOU基准，包含2万个人工标注问题与11877个长视频，覆盖13项技能，评估多模态大模型在长视频中的全模态理解与推理能力，最佳闭源模型仅64.2%准确率，开源模型46.8%。

Comments Project Page: https://huggingface.co/datasets/nvidia/MMOU