JMed48k: A Multi-Profession Japanese Medical Licensing Benchmark for Vision-Language Model Evaluation
JMed48k:用于视觉语言模型评估的多专业日本医疗执照基准
机构 * The Hong Kong Polytechnic University(香港理工大学) ; Kyoto University(京都大学) ; The University of Tokyo(东京大学) ; Hohai University(淮海大学) ; University of Science and Technology of China(中国科学技术大学) ; University of Toronto(多伦多大学)
专题命中 其他VLM :vision-language model(title,abstract);分类 cs.CV、cs.AI
AI总结 本文提出JMed48k,一个包含48,862道试题和20,142张图像的多专业日本医疗执照基准,通过评估21个模型并引入配对图像移除审计,发现专有和开源模型显著受益于图像,而医学专用模型对视觉证据利用有限。