Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning
链式思维推理中忠实度衰减的机制证据
机构 * Fordham University(福特汉姆大学) ; Algoverse AI Research(Algoverse AI研究) ; Rice University(稻子大学) ; UC San Diego(圣地亚哥大学) ; Santa Clara University(圣克拉拉大学) ; LMU Munich(慕尼黑路德维希-马克西米利安大学)
专题命中 数学推理 :reasoning(title,abstract);chain-of-thought(title,abstract);CoT(abstract,abstract_cn);分类 cs.CL
AI总结 提出归一化对数几率差衰减(NLDD)指标,通过破坏推理步骤并测量模型置信度下降,发现链式思维中超过70-85%长度的令牌对最终答案贡献微弱或负面,揭示了忠实度衰减现象。
Comments 16 pages, 16 figures. Accepted to ICLR LIT workshop. Code: https://github.com/donald-ye/NLDD