MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation
MGSM-Pro:一种用于多语言数学推理评估的简单策略
机构 * McGill University(麦吉尔大学) ; Mila-Quebec AI Institute(蒙特利尔AI研究院) ; University of Toronto(多伦多大学) ; Masakhane ; Hanyang University(翰阳大学) ; Instituto Politécnico Nacional(国家理工学院) ; Umbaji ; University of Ibadan(伊巴德安大学) ; McPherson University(麦菲逊大学) ; Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
专题命中 数学推理 :reasoning(title,abstract);math reasoning(abstract);分类 cs.CL、cs.AI
AI总结 本文提出MGSM-Pro,通过增加数字变化实例提升多语言数学推理评估的鲁棒性,发现低资源语言在不同数字实例下表现下降,且专有模型对数字变化更敏感。