University of California, San Diego（加州大学圣迭戈分校）

Translation or Recitation? Calibrating Evaluation Scores for Machine Translation of Extremely Low-Resource Languages

翻译还是背诵？为极低资源语言的机器翻译校准评估分数

Danlu Chen, Ka Sing He, Jiahe Tian, Chenghao Xiao, Zhaofeng Wu, Taylor Berg-Kirkpatrick, Freda Shi

机构 * UC San Diego（加州大学圣迭戈分校） ； New York University（纽约大学） ； Durham University（杜伦大学） ； MIT（麻省理工学院） ； University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

AI总结 本文提出FRED难度指标，用于解释极低资源语言机器翻译结果的变异性，揭示训练测试重叠和预训练暴露是主要因素，同时指出某些语言存在分词覆盖不足的问题。