Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning
Cliff Tokens: 识别大语言模型数学推理中的单Token失败触发点
机构 * Seoul National University(首尔大学) ; Boston University(波士顿大学)
专题命中 数学推理 :reasoning(title,abstract);分类 cs.CL、cs.AI
AI总结 提出“悬崖token”概念,通过自适应阈值和单侧双比例z检验识别导致推理失败的单个token,删除并重采样可恢复pass@64至1.0,并基于贪心选择和token熵建立分类法,通过Cliff-DPO优化提升准确率。