MMOOC: A Comprehensive Benchmark for Out-of-Context Evaluation in Multimodal Large Language Models
MMOOC:多模态大语言模型的上下文外评估综合基准
机构 * The Hong Kong Polytechnic University(香港理工大学) ; Eastern Institute of Technology(东方理工大学) ; Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
AI总结 本文提出MMOOC基准,评估多模态大语言模型在上下文偏移场景下的拒绝与作答能力,实验发现当前模型难以平衡可答性与拒绝性,后训练可提升稳健性,该基准将公开。
Comments project page:https://zhuwenjie98.github.io/MMOOC-project-page/