How Robust is OCR-Reasoning? Evaluating OCR-Reasoning Robustness of Vision-Language Models under Visual Perturbations
OCR推理有多鲁棒?评估视觉语言模型在视觉扰动下的OCR推理鲁棒性
机构 * School of Artificial Intelligence, Jilin University(吉林大学人工智能学院) ; Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China(教育部知识驱动人机智能工程研究中心) ; International Center of Future Science, Jilin University(吉林大学未来科学国际合作中心)
专题命中 文档图表理解 :vision-language model(title,abstract);VLM(summary_cn,abstract_cn);分类 cs.CV
AI总结 提出OCR-Robust基准,通过5种扰动类型和3种严重程度评估18个VLM在OCR推理任务上的鲁棒性,发现高干净精度不保证强鲁棒性,图表比文档更脆弱。