大模型推理能力

CIRF: Tokenizing Chain-of-Thoughts into Reusable Functional Units for Efficient Latent Reasoning in Large Language Models

CIRF：将思维链分词化为可重用的功能单元，用于大型语言模型的高效潜在推理

Yukyung Lee, Yumeng Shen, Jinhyeong Park, Hyein Yang, Jun-Hyung Park

机构 * Boston University（波士顿大学） ； Hankuk University of Foreign Studies（韩国民法大学） 纠错

专题命中 数学推理 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 提出CIRF框架，通过将显式思维链中的语义连贯推理单元映射为离散功能令牌，实现动态序列推理，在数学、符号和常识推理基准上取得优于现有隐式CoT方法的准确率-延迟权衡。

Comments 17 pages, 7 figures

Scheherazade: Evaluating Chain-of-Thought Math Reasoning in LLMs with Chain-of-Problems

Stephen Miner, Yoshiki Takashima, Simeng Han, Sam Kouteili, Ferhat Erata, Ruzica Piskac, Scott J Shapiro

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title)；math reasoning(title)；分类 cs.CL

Reasoning Efficiently Through Adaptive Chain-of-Thought Compression: A Self-Optimizing Framework

通过自适应链式推理压缩实现高效推理：一个自优化框架

Kerui Huang, Shuhan Liu, Xing Hu, Tongtong Xu, Lingfeng Bao, Xin Xia

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 SEER通过自适应压缩链式推理，提升LLM在软件工程和数学任务中的效率与鲁棒性。

NFT: Bridging Supervised Learning and Reinforcement Learning in Math Reasoning

NFT：在数学推理中连接监督学习与强化学习

Huayu Chen, Kaiwen Zheng, Qinsheng Zhang, Ganqu Cui, Lifan Yuan, Yin Cui, Haotian Ye, Tsung-Yi Lin, Ming-Yu Liu, Jun Zhu, Haoxiang Wang

机构 * Tsinghua（清华大学） ； NVIDIA ； UIUC（伊利诺伊大学香槟分校） ； Stanford（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title,abstract)；verifier(abstract)；分类 cs.CL、cs.LG

AI总结 NFT通过监督学习方法实现LLM自主改进，无需外部教师，在数学推理任务中超越传统RL算法。

CtrlCoT: Dual-Granularity Chain-of-Thought Compression for Controllable Reasoning

CtrlCoT：用于可控推理的双粒度推理链压缩

Zhenxuan Fan, Jie Cao, Yang Dai, Zheqi Lv, Wenqiao Zhang, Zhongle Xie, Peng LU, Beng Chin Ooi

机构 * Zhejiang University（浙江大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 CtrlCoT通过双粒度方法实现高效可控推理，结合语义抽象与标记级删除，提升推理效率和可靠性。

Comments 16 pages, 9 figures, 11 tables

Select2Reason: Efficient Instruction-Tuning Data Selection for Long-CoT Reasoning

Select2Reason: 为长链推理实现高效的指令微调数据选择

Cehao Yang, Xueyuan Lin, Xiaojun Wu, Chengjin Xu, Xuhui Jiang, Honghao Liu, Hui Xiong, Jian Guo

机构 * DataArc Tech Ltd.（DataArc科技有限公司） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； IDEA Research, International Digital Economy Academy（IDEA研究所，国际数字经济学院） ； Hithink RoyalFlush Information Network Co., Ltd（Hithink RoyalFlush信息网络有限公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(title,abstract)；self-correction(abstract)；分类 cs.CL、cs.AI

AI总结 Select2Reason通过高效数据选择提升长链推理性能，实验证明其在多个基准测试中表现优异。

Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information

聚焦式链式思考：通过结构化输入信息实现高效的LLM推理

Lukas Struppek, Dominik Hintersdorf, Hannah Struppek, Daniel Neider, Kristian Kersting

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Technical University of Darmstadt（德累斯顿技术大学） ； University of Kassel（卡塞尔大学） ； TU Dortmund University（Dortmund技术大学） ； TU Center for Trustworthy Data Science and Security, University Alliance Ruhr（TU可信数据科学与安全中心，鲁尔大学联盟） ； Hessian Center for AI (Hessian.AI)（黑森人工智能中心（黑森.AI）） ； Centre for Cognitive Science, Technical University of Darmstadt（认知科学中心，德累斯顿技术大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出F-CoT方法，通过结构化输入减少LLM推理中的token使用和延迟，同时保持推理准确性。

Causal Sufficiency and Necessity Improves Chain-of-Thought Reasoning

Xiangning Yu, Zhuohan Wang, Linyi Yang, Haoxuan Li, Anjie Liu, Xiao Xue, Jun Wang, Mengyue Yang

机构 * Tianjin University（天津大学） ； City University of Hong Kong（香港城市大学） ； University College London（伦敦大学学院） ； Peking University（北京大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； University of Bristol（布里斯托大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Does Math Reasoning Improve General LLM Capabilities? Understanding Transferability of LLM Reasoning

Maggie Huan, Yuetai Li, Tuney Zheng, Xiaoyu Xu, Seungone Kim, Minxin Du, Radha Poovendran, Graham Neubig, Xiang Yue

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Washington（华盛顿大学） ； M-A-P ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title,abstract)；planning(abstract)；分类 cs.CL、cs.AI

DRT: Deep Reasoning Translation via Long Chain-of-Thought

Jiaan Wang, Fandong Meng, Yunlong Liang, Jie Zhou

机构 * Pattern Recognition Center, WeChat AI, Tencent Inc（模式识别中心、微信AI、腾讯公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025 Findings

How does Chain of Thought Think? Mechanistic Interpretability of Chain-of-Thought Reasoning with Sparse Autoencoding

Xi Chen, Aske Plaat, Niki van Stein

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Feature Extraction and Steering for Enhanced Chain-of-Thought Reasoning in Language Models

Zihao Li, Xu Wang, Yuzhe Yang, Ziyu Yao, Haoyi Xiong, Mengnan Du

机构 * New Jersey Institute of Technology（新泽西理工学院） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） ； George Mason University（乔治·马歇尔大学） ； Microsoft（微软公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.LG

Efficient Long CoT Reasoning in Small Language Models

Zhaoyang Wang, Jinqi Jiang, Tian Qiu, Hui Liu, Xianfeng Tang, Huaxiu Yao

专题命中 数学推理 ：reasoning(title,abstract)；CoT(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning

Hai-Long Sun, Zhun Sun, Houwen Peng, Han-Jia Ye

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Tencent（腾讯） ； Center for Language AI Research, Tohoku University（东北大学语言人工智能研究中心） ； RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进人工智能项目中心） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

Comments Accepted to ACL 2025. The project page is available at https://sun-hailong.github.io/projects/TVC

CoT-UQ: Improving Response-wise Uncertainty Quantification in LLMs with Chain-of-Thought

Boxuan Zhang, Ruqi Zhang

机构 * Purdue University（普渡大学） 纠错

专题命中 数学推理 ：chain-of-thought(title,abstract)；CoT(title,abstract)；reasoning(abstract)；分类 cs.CL、cs.LG

Comments Accepted by ACL 2025 Findings

LLMs can Find Mathematical Reasoning Mistakes by Pedagogical Chain-of-Thought

Zhuoxuan Jiang, Haoyuan Peng, Shanshan Feng, Fan Li, Dongsheng Li

机构 * Shanghai Business School（上海商学院） ； Learnable.AI Inc.（Learnable.AI公司） ； Centre for Frontier AI Research, A*STAR（前沿人工智能研究中心，A*STAR） ； Institute of High-Performance Computing, A*STAR（高性能计算研究所，A*STAR） ； The Hong Kong Polytechnic University（香港理工大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；self-correction(abstract)；分类 cs.CL、cs.AI

Comments Accepted by IJCAI 2024

Amplify Adjacent Token Differences: Enhancing Long Chain-of-Thought Reasoning with Shift-FFN

Yao Xu, Mingyu Xu, Fangyu Lei, Wangtao Sun, Xiangrong Zeng, Bingning Wang, Guang Liu, Shizhu He, Jun Zhao, Kang Liu

机构 * The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统实验室，自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Baichuan Inc（百川公司） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Expediting and Elevating Large Language Model Reasoning via Hidden Chain-of-Thought Decoding

Tianqiao Liu, Zui Chen, Zitao Liu, Mi Tian, Weiqi Luo

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.AI

RL on Incorrect Synthetic Data Scales the Efficiency of LLM Math Reasoning by Eight-Fold

Amrith Setlur, Saurabh Garg, Xinyang Geng, Naman Garg, Virginia Smith, Aviral Kumar

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title,abstract)；verifier(abstract)；分类 cs.CL、cs.LG

The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models

读出捷径：位置数字复制主导小语言模型中的算术思维链读出

Ming Liu

机构 * Amazon（亚马逊） 纠错

专题命中 数学推理 ：CoT(title,summary_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过前缀补全实验，发现小语言模型在算术思维链中主要依赖位置捷径（复制答案分隔符前的最后一个数字），而非逻辑推理，并分析了不同模型的行为差异。

Comments 18 pages (8 main + 10 appendix), 3 figures, 5 tables

Divide-and-Conquer CoT: RL for Reducing Latency via Parallel Reasoning

分而治之的CoT：通过并行推理减少延迟的强化学习

Arvind Mahankali, Kaiyue Wen, Tengyu Ma

专题命中 数学推理 ：reasoning(title,abstract)；CoT(title,abstract)；chain-of-thought(abstract)；分类 cs.LG

AI总结 通过并行推理和强化学习，DC-CoT在减少延迟的同时保持高精度，适用于数学推理任务。

Comments 47 pages, 13 figures

Investigating CoT Monitorability in Large Reasoning Models

探究大型推理模型中的CoT可监控性

Shu Yang, Junchao Wu, Xilin Gong, Xuansheng Wu, Derek Wong, Ninghao Liu, Di Wang

机构 * Provable Responsible AI and Data Analytics (PRADA) Lab（可证明负责任的人工智能与数据分析师实验室） ； King Abdullah University of Science and Technology（卡布斯大学） ； University of Georgia（佐治亚大学） ； University of Macau（澳门大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(title,abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文探讨了大型推理模型中CoT可监控性的挑战与潜力，提出MoME范式以通过CoT监控其他模型的误行并提供结构化判断。

Deep Hidden Cognition Facilitates Reliable Chain-of-Thought Reasoning

深度隐式认知促进可靠推理链推理

Zijun Chen, Wenbo Hu, Richang Hong

机构 * Zijun Chen, Wenbo Hu, Richang Hong Corresponding Author（对应作者） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title)；CoT(abstract)；self-correction(abstract)

AI总结 本文提出利用模型内在真实性编码提升CoT推理的可靠性，通过置信度预测器和束搜索优化推理路径，显著提高数学、符号和常识推理任务的准确性和可靠性。

Comments This paper has been accepted by AAAI-26

Parrot: A Training Pipeline Enhances Both Program CoT and Natural Language CoT for Reasoning

Senjie Jin, Lu Chen, Zhiheng Xi, Yuhui Wang, Sirui Song, Yuhao Zhou, Xinbo Zhang, Peng Sun, Hong Lu, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学） ； ByteDance Research（字节跳动研究院） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(title,abstract)；chain-of-thought(abstract)；分类 cs.CL

CodePlot-CoT: Mathematical Visual Reasoning by Thinking with Code-Driven Images

Chengqi Duan, Kaiyue Sun, Rongyao Fang, Manyuan Zhang, Yan Feng, Ying Luo, Yufang Liu, Ke Wang, Peng Pei, Xunliang Cai, Hongsheng Li, Yi Ma, Xihui Liu

机构 * HKU（香港大学） ； Meituan（美团） ； CUHK（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

Premise-Augmented Reasoning Chains Improve Error Identification in Math reasoning with LLMs

Sagnik Mukherjee, Abhinav Chinta, Takyoung Kim, Tarun Anoop Sharma, Dilek Hakkani-Tür

机构 * University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title)；chain-of-thought(abstract)；CoT(abstract)

Comments Accepted at ICML 2025

Mol-R1: Towards Explicit Long-CoT Reasoning in Molecule Discovery

Jiatong Li, Weida Wang, Qinggang Zhang, Junxian Li, Di Zhang, Changmeng Zheng, Shufei Zhang, Xiaoyong Wei, Qing Li

专题命中 数学推理 ：reasoning(title,abstract)；CoT(title,abstract)；chain-of-thought(abstract)；分类 cs.CL

Comments 20 pages

Unveiling the Key Factors for Distilling Chain-of-Thought Reasoning

Xinghao Chen, Zhijing Sun, Wenjin Guo, Miaoran Zhang, Yanjun Chen, Yirong Sun, Hui Su, Yijie Pan, Dietrich Klakow, Wenjie Li, Xiaoyu Shen

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室） ； Institute of Digital Twin, EIT（数字孪生研究院） ； Saarland University（萨尔兰大学） ； Meituan Inc.（美团公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL

Comments ACL 2025 Findings

Efficient Reasoning for LLMs through Speculative Chain-of-Thought

Jikai Wang, Juntao Li, Jianye Hou, Bowen Yan, Lijun Wu, Min Zhang

机构 * Soochow University（苏州大学） ； CUHK（香港中文大学） ； Meta Stone ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

Yancheng He, Shilong Li, Jiaheng Liu, Weixun Wang, Xingyuan Bu, Ge Zhang, Zhongyuan Peng, Zhaoxiang Zhang, Zhicheng Zheng, Wenbo Su, Bo Zheng

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL

Comments The first four authors contributed equally, 27 pages