When transformers learn "impossible" languages, what do they learn?
当Transformer学习“不可能”语言时,它们学到了什么?
机构 * University of Edinburgh(爱丁堡大学)
AI总结 研究通过训练GPT-2模型于英语的“不可能”变体,发现模型在语法敏感性上仅逐渐退化,但在生成任务中显著失败,提出生成缺陷是语言不可习得性的可能解释。
Comments CoNLL 2026 (Best Paper Award). 14 pages, 3 figures