MindEdit-Bench: Benchmarking Object-Level Counterfactual Spatial Reasoning in VLMs from In-the-Wild Photos
MindEdit-Bench:基于野外照片的VLM中对象级反事实空间推理基准
机构 * ZODA ; Zhejiang University(浙江大学) ; Tongji University(同济大学) ; The University of Tokyo(东京大学)
专题命中 视觉空间推理 :reasoning(title,abstract);分类 cs.CL、cs.AI
AI总结 提出MindEdit-Bench基准,包含六项空间推理任务,其中两项新任务(L4和L5)测试对象级反事实推理,VLM平均准确率仅8%-31%,远低于人类的81%-97%。
Comments 18 pages, 7 figures. Dataset available at https://huggingface.co/datasets/ZODAOfficial/MindEdit-Bench