视频大模型

M$^3$Eval: Multi-Modal Memory Evaluation through Cognitively-Grounded Video Tasks

M$^3$Eval: 通过认知基础视频任务的多模态记忆评估

Jie Huang, Ruixun Liu, Sirui Sun, Xinyi Yang, Yin Li, Yixin Zhu, Yiwu Zhong

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Yuanpei College, Peking University（北京大学元培学院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； School of Psychological and Cognitive Sciences, Peking University（北京大学心理学与认知科学学院） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV

AI总结 提出首个多模态模型记忆评估框架M$^3$Eval，通过认知心理学设计的视频任务系统评估模型在记忆保持、忠实性和鲁棒性上的表现，发现模型在并行视频流处理、干扰模式、时空记忆和符号记忆方面的显著缺陷。

Comments We present an evaluation designed for multi-modal memory in multi-modal models