Revealing Algorithmic Deductive Circuits for Logical Reasoning
揭示逻辑推理的算法演绎电路
机构 * Japan Advanced Institute of Science and Technology(日本科学技术先进研究院)
专题命中 逻辑推理 :reasoning(title,abstract);logical reasoning(title);CoT(abstract,abstract_cn);chain-of-thought(abstract)
AI总结 本研究通过因果中介分析定位大语言模型中负责逻辑推理步骤的注意力头,发现少量专用头处理事实和规则信息,而高层头促进信息整合和全局推理策略的出现。