Unveiling the Mechanisms of Multi-Hop Reasoning in Transformers via Identity Bridge
通过身份桥揭示Transformer中多跳推理的机制
机构 * School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院) ; Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University(上海交通大学自然科学研究院) ; Shanghai Seres Information Technology Co., Ltd, Shanghai 200040, China(上海塞瑞斯信息技术有限公司)
专题命中 其他安全 :alignment(abstract);分类 cs.AI、cs.LG
AI总结 研究大型语言模型多跳推理中两跳推理诅咒现象,引入身份桥进行最小监督,使单层Transformer能实现分布外两跳泛化,通过理论和实证分析揭示其机制及效果,并扩展到主流LLMs的实际设置。
Comments Accepted by COLM 2026