Why Knowing Both Hops Is Not Enough: Understanding Two-Hop Generalization in Language Models
仅知道两跳信息是不够:理解语言模型中的两跳泛化
机构 * Xi’an Jiaotong University(西安交通大学) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 本研究针对语言模型两跳查询失败问题,在受控环境训练Transformer,揭示其泛化规律与跨层不匹配机制,提出循环式训练策略以提升分布外两跳泛化能力。
Comments 24 pages, 20 figures