University of Michigan（密歇根大学安娜堡分校）

XCOMPS: A Multilingual Benchmark of Conceptual Minimal Pairs

XCOMPS：概念最小对的多语言基准测试

Linyang He, Ercong Nie, Sukru Samet Dindar, Arsalan Firoozi, Adrian Florea, Van Nguyen, Corentin Puffay, Riki Shimizu, Haotian Ye, Jonathan Brennan, Helmut Schmid, Hinrich Schütze, Nima Mesgarani

机构 * Columbia University（哥伦比亚大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； LMU Munich（慕尼黑大学） ； University of Michigan（密歇根大学） ； KU Leuven（根特大学） 纠错

AI总结 介绍多语言概念最小对数据集XCOMPS，通过多种方式评估LLMs多语言概念理解，比较不同模型发现LLMs对低资源语言概念理解弱，指令微调与知识蒸馏有不同效果，形态复杂语言理解分数低。

Comments Accepted at SIGTYP 2025: https://aclanthology.org/2025.sigtyp-1.9/