Scaling Reasoning Hop Exposes Weaknesses: Demystifying and Improving Hop Generalization in Large Language Models
推理步扩展揭示弱点:解密和改进大语言模型中的推理泛化
机构 * University of Science and Technology of China(中国科学技术大学) ; City University of Hong Kong(香港城市大学) ; Zhejiang University(浙江大学) ; City University of Hong Kong, Shenzhen Research Institute(香港城市大学深圳研究院)
专题命中 复杂问题求解 :reasoning(title,abstract);CoT(abstract,abstract_cn);chain-of-thought(abstract);分类 cs.CL、cs.LG
AI总结 本文通过多领域任务研究发现,推理错误集中在少数关键错误类型的位置,而非均匀分布。提出在推理过程中动态识别并禁用错误处理头,从而提升推理步泛化能力。
Comments 52 pages, accepted by ICLR 2026 main conference