How Well Do LLMs Perform on the Simplest Long-Chain Reasoning Tasks: An Empirical Study on the Equivalence Class Problem
LLMs在最简单的长链推理任务上表现如何:等价类问题的实证研究
机构 * University of Science and Technology of China(中国科学技术大学) ; University of Oxford(牛津大学)
专题命中 其他推理 :reasoning(title,abstract);分类 cs.AI
AI总结 本文评估了LLMs在等价类问题上的表现,发现非推理模型无法解决,而推理模型虽更优但仍难以完全解决,且问题难度随连接概率和变量数变化而变化。
Comments 9 pages, 5 figures