QCalEval: Benchmarking Vision-Language Models for Quantum Calibration Plot Understanding
QCalEval:用于量子校准图理解的视觉-语言模型基准测试
机构 * NVIDIA ; University of Toronto(多伦多大学) ; IQM Quantum Computers(IQM量子计算机) ; Lawrence Berkeley National Laboratory(伯克利国家实验室) ; Conductor Quantum(Conductor量子) ; National Physical Laboratory(国家物理实验室) ; Infleqtion ; Harvard University(哈佛大学) ; Fermi National Accelerator Laboratory(费米国家加速器实验室) ; Northwestern University(西北大学) ; EeroQ Corporation(EeroQ公司) ; Royal Holloway University of London(伦敦皇家霍洛威大学) ; Vector Institute for Artificial Intelligence(人工智能向量研究所)
AI总结 本文提出QCalEval,首个用于评估视觉-语言模型理解量子校准图能力的基准测试,包含243个样本和87种场景类型,测试零样本和上下文学习下的六种问题类型,展示了不同模型的性能差异。