大模型推理能力 - arXivDaily 专题

2608.09942 2026-08-12 cs.CL cs.AI cs.LG 新提交 93%

When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning

思维链（CoT）何时有助、何时有害：大语言模型推理中序列深度瓶颈的实证研究

Tughanbulut Kurtulush

机构 * Vistula University（维斯图拉大学）

专题命中数学推理：CoT(title_cn,summary_cn)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结该研究通过实证发现，思维链（CoT）是带宽旁路而非通用推理增强器，在高深度推理任务中可提升大语言模型准确率，在浅层任务中冗余，其效果与任务序列深度、模型规模相关。

Comments 15 pages, 3 figures, 5 tables. Pre-registered study (OSF: https://osf.io/92jdk). Data and code: https://osf.io/hteuj

2601.03682 2026-04-21 cs.CL cs.AI 93%

From Implicit to Explicit: Token-Efficient Logical Supervision for Mathematical Reasoning in LLMs

从隐式到显式：面向大语言模型数学推理的高效令牌逻辑监督

Shaojie Wang, Liang Zhang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））

专题命中数学推理：reasoning(title,abstract)；CoT(summary_cn,abstract)；logical reasoning(abstract,abstract_cn)；chain-of-thought(abstract)

AI总结本文提出FSLR框架，通过显式监督提升大语言模型对逻辑关系的理解能力，实验显示其在推理准确率和训练效率上均优于CoT-SFT。

2604.22709 2026-04-28 cs.CL 92%

Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought

无需言语的思考：通过抽象链式推理实现高效潜在推理

Keshav Ramji, Tahira Naseem, Ramón Fernandez Astudillo

机构 * IBM Research AI（IBM人工智能研究院）

专题命中数学推理：chain-of-thought(title,summary_cn)；reasoning(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结本文提出Abstract Chain-of-Thought，通过离散潜在推理机制在训练后实现高效推理，减少推理token数量同时保持性能，发现抽象词汇的幂律分布。

2608.08503 2026-08-11 cs.AI cs.CL 新提交 92%

MathShikkha: A Controlled Study of Answer-Only and Chain-of-Thought Supervision for Bangla Mathematical Reasoning in Small Language Models

MathShikkha：针对小型语言模型孟加拉语数学推理的仅答案与思维链监督对照研究

Rahma Simin Ali, Jawad Hossain

机构 * University at Albany（奥尔巴尼大学）

专题命中数学推理：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.CL、cs.AI

AI总结本研究构建含GPT-5.4推理依据的孟加拉语数学数据集MathShikkha，微调4个4B-7B模型，发现CoT监督对域内强骨干无增益但提升弱模型，域外及BanglaMATH基准上均优于仅答案，核心益处为语言贴合度、可审核推理及域外鲁棒性。

2606.22565 2026-06-23 cs.CL cs.AI cs.CV 新提交 92%

Look Light, Think Heavy: What Multimodal Chain-of-Thought Reasoning Can and Cannot Do

轻看，重思：多模态思维链推理能做什么和不能做什么

Zhuoran Jin, Kejian Zhu, Hongbang Yuan, Yupu Hao, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能实验室）； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）

专题命中数学推理：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.CL、cs.AI

AI总结本文系统探究多模态思维链推理在12个感知与推理任务上的表现，发现CoT对感知任务有副作用，但对数学、科学等多图像推理有效，且现有开源多模态推理模型提升有限，视觉推理仍是瓶颈。

Comments ACL 2026

2607.27888 2026-07-31 cs.AI 新提交 92%

Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning

并非所有 token 都应获得同等权重：面向长思维链（Long-CoT）推理的反事实敏感性权重重分配

Qiangqiang He, Zhongheng Wu, ZiJian Wang

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）； Institute of Wireless Communications Technology, Shanghai Jiao Tong University（上海交通大学无线通信技术研究所）

专题命中数学推理：CoT(title,title_cn)；reasoning(title,abstract)；verifier(abstract)；分类 cs.AI

AI总结针对长思维链推理中均匀分配 token 权重的缺陷，提出反事实敏感性权重重分配方法，在数学推理基准上优于 GRPO，验证了特权诱导方向不可靠的诊断。

Comments 20 pages, 6 figures, 11 tables

2602.08324 2026-06-15 cs.LG 版本更新 92%

Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression

通过极端比例思维链压缩实现高效大型语言推理模型

Yuntian Tang, Bohan Jia, Wenxuan Huang, Lianyue Zhang, Jiao Xie, Wenxi Li, Wei Li, Jie Hu, Xinghao Chen Rongrong Ji, Shaohui Lin

机构 * University of Science and Technology of China（中国科学技术大学）

专题命中数学推理：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.LG

AI总结提出Extra-CoT框架，通过极端比例压缩思维链、混合比例监督微调和约束层次化比率策略优化，在显著减少推理令牌的同时保持甚至提升推理准确率。

Comments Accepted to ICML 2026. 15 pages, 7 figures

2605.29247 2026-05-29 cs.AI cs.CL cs.LG 92%

DenseSteer: Steering Small Language Models towards Dense Math Reasoning

DenseSteer: 引导小型语言模型进行密集数学推理

Yang Ouyang, Shuhang Lin, Jung-Eun Kim

机构 * North Carolina State University（北卡罗来纳州立大学）； Rutgers University（罗格斯大学）

专题命中数学推理：reasoning(title,abstract)；math reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)

AI总结提出DenseSteer，一种无需训练的推理时引导框架，通过调节内部表征向密集推理模式靠拢，提升小型模型在多步数学推理中的准确性。

Comments ICML 2026

2608.04928 2026-08-06 cs.CL 新提交 92%

Does Out-of-Sight Equal Out-of-Mind in CoT Monitorability?

思维链可监控性中“看不见即想不到”吗？

Pedro Ferreira, Wilker Aziz, Ivan Titov

机构 * University of Amsterdam（阿姆斯特丹大学）； University of Edinburgh（爱丁堡大学）

专题命中数学推理：CoT(title,summary_cn)；chain-of-thought(abstract,abstract_cn)；reasoning(abstract)；math reasoning(abstract)

AI总结本研究对比显式与潜在CoT的可监控性，发现其更多取决于任务属性和模型内部访问程度，而非推理模式。

Comments 23 pages

2608.03550 2026-08-05 cs.AI 新提交 92%

Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve

随着大型语言模型（LLM）性能提升，软引导开始优于思维链（CoT）提示

Denys Pushkin, Albert Q. Jiang, Aryo Lotfi, Colin Sandon, Emmanuel Abbé

专题命中数学推理：CoT(title,title_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结该研究发现，随着LLM性能提升，标准CoT提示的干扰作用凸显，推理专用模型在零样本设置下的数学推理性能优于少样本CoT提示。

Comments 10 pages, 3 tables

2602.01982 2026-02-03 cs.CL 92%

S3-CoT: Self-Sampled Succinct Reasoning Enables Efficient Chain-of-Thought LLMs

S3-CoT：自采样简洁推理实现高效链式推理LLM

Yanrui Du, Sendong Zhao, Yibo Gao, Danyang Zhao, Qika Lin, Ming Ma, Jiayun Li, Yi Jiang, Kai He, Qianyi Xu, Bing Qin, Mengling Feng

机构 * Harbin Institute of Technology（哈尔滨工业大学）； National University of Singapore（新加坡国立大学）

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(title,abstract)；分类 cs.CL

AI总结 S3-CoT通过自采样简洁推理实现高效链式推理LLM，解决冗余推理问题，提升模型性能与泛化能力。

2506.05331 2025-06-06 cs.CV 91%

MINT-CoT: Enabling Interleaved Visual Tokens in Mathematical Chain-of-Thought Reasoning

Xinyan Chen, Renrui Zhang, Dongzhi Jiang, Aojun Zhou, Shilin Yan, Weifeng Lin, Hongsheng Li

机构 * CUHK MMLab（香港大学MMLab）

专题命中数学推理：CoT(title,abstract)；reasoning(title,abstract)；chain-of-thought(title,abstract)

Comments Code is released at https://github.com/xinyan-cxy/MINT-CoT

2605.24286 2026-05-26 cs.LG cs.CL 91%

Faithfulness as Information Flow: Evaluating and Training Faithful Chain-of-Thought Reasoning

忠实性作为信息流：评估与训练忠实的链式思维推理

Jinghan Jia, Joe Benton, Eric Easley

机构 * Dept. CSE, Michigan State University（密歇根州立大学计算机科学系）； Anthropic

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；verifier(abstract)

AI总结通过信息流视角提出基于充分性、完整性和必要性的框架，结合熵、掩码KL和梯度诊断评估链式思维忠实性，并引入更新时干预（如注意力掩码、反向梯度掩码等）训练更忠实的推理模型。

2603.12529 2026-05-15 cs.LG cs.AI cs.CL 91%

TERMINATOR: Learning Optimal Exit Points for Early Stopping in Chain-of-Thought Reasoning

TERMINATOR: 在链式推理中学习最优退出点以实现早期停止

Alliot Nagle, Jakhongir Saydaliev, Dhia Garbaya, Michael Gastpar, Ashok Vardhan Makkuva, Hyeji Kim

机构 * UT Austin（得克萨斯大学）； EPFL（苏黎世联邦理工学院）； ENS Paris-Saclay（巴黎-萨克雷大学）； Télécom Paris (IP Paris)（巴黎理工学院）

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结本文提出TERMINATOR方法，通过预测模型最终答案的首次出现位置，学习最优推理长度，从而减少链式推理的计算量，提升推理效率。

Comments Updated and reorganized results. Added new results

2605.24867 2026-05-26 cs.AI cs.CL cs.NI 91%

Clustering as Reasoning: A $k$-Means Interpretation of Chain-of-Thought Graph Learning

聚类即推理：思维链图学习的 $k$-均值解释

Xuanting Xie, Zhaochen Guo, Bingheng Li, Xingtong Yu, Zhifei Liao, Zhao Kang, Yuan Fang

机构 * University of Electronic Science and Technology of China（电子科技大学）； Singapore Management University（新加坡国立大学）； Michigan State University（密歇根州立大学）； The Chinese University of Hong Kong（香港中文大学）

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结提出KCoT框架，通过将Transformer块与$k$-均值算法建立数学对应，将思维链推理与图表示学习统一，实现迭代语义-拓扑交互，在标准基准上超越现有方法。

Comments Accepted by ICML 2026

2509.16561 2025-09-23 cs.AI cs.CL 91%

SalaMAnder: Shapley-based Mathematical Expression Attribution and Metric for Chain-of-Thought Reasoning

Yue Xin, Chen Shen, Shaotian Yan, Xiaosong Yuan, Yaoming Wang, Xiaofeng Zhang, Chenxi Huang, Jieping Ye

机构 * Shanghai Jiao Tong University（上海交通大学）； Alibaba Cloud Computing（阿里云计算）

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；math reasoning(abstract)

Comments accpeted by EMNLP 2025

2406.09136 2024-11-01 cs.CL cs.LG 91%

Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs

Xuan Zhang, Chao Du, Tianyu Pang, Qian Liu, Wei Gao, Min Lin

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；logical reasoning(abstract)

Comments NeurIPS 2024

2606.13862 2026-06-15 cs.LG cs.AI cs.CL 新提交 90%

SuperThoughts: Reasoning Tokens in Superposition

SuperThoughts: 叠加中的推理令牌

Zheyang Xiong, Shivam Garg, Max Yu, Vaishnavi Shrivastava, Haoyu Zhao, Anastasios Kyrillidis, Dimitris Papailiopoulos

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校）； Microsoft Research（微软研究院）； Independent（独立机构）； Princeton University（普林斯顿大学）； Rice University（莱斯大学）

专题命中数学推理：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结提出SuperThoughts方法，通过将连续CoT令牌对压缩为单一潜在表示并利用多令牌预测模块解码，在保持训练监督的同时将推理吞吐量翻倍，实现约20-30%的CoT长度缩减且精度损失极小。

2510.04573 2026-04-24 cs.LG cs.AI cs.CL 90%

LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning

LaDiR：潜在扩散增强大语言模型进行文本推理

Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Nicklas Majamaki, Navdeep Jaitly, Yi-An Ma, Lianhui Qin

机构 * University of California, San Diego（加州大学圣迭戈分校）； Apple（苹果公司）

专题命中数学推理：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；planning(abstract)

AI总结 LaDiR通过结合连续潜在表示的表达力与潜在扩散模型的迭代精炼能力，提升大语言模型在文本推理中的准确性、多样性和可解释性。

2607.28707 2026-08-12 cs.CL 版本更新 90%

Demystifying Entropy-based Selection for Chain-of-Thought Compression in Large Reasoning Models

揭秘大型推理模型中基于熵的思维链压缩选择方法

Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

机构 * University of Trieste（的里雅斯特大学）； University of Milano-Bicocca（米兰-比科卡大学）； University of Groningen（格罗宁根大学）； Khoury College of Computer Sciences, Northeastern University（东北大学科里计算机学院）

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结该研究测试了大型推理模型中基于熵的思维链压缩方法的鲁棒性，发现其效果不优于随机剪枝，且任务信息分布在整个推理链上而非小部分令牌中。

2602.11201 2026-06-08 cs.CL 版本更新 90%

Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning

链式思维推理中忠实度衰减的机制证据

Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

机构 * Fordham University（福特汉姆大学）； Algoverse AI Research（Algoverse AI研究）； Rice University（稻子大学）； UC San Diego（圣地亚哥大学）； Santa Clara University（圣克拉拉大学）； LMU Munich（慕尼黑路德维希-马克西米利安大学）

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结提出归一化对数几率差衰减（NLDD）指标，通过破坏推理步骤并测量模型置信度下降，发现链式思维中超过70-85%长度的令牌对最终答案贡献微弱或负面，揭示了忠实度衰减现象。

Comments 16 pages, 16 figures. Accepted to ICLR LIT workshop. Code: https://github.com/donald-ye/NLDD

2311.09797 2024-08-09 cs.CL 90%

FinanceMath: Knowledge-Intensive Math Reasoning in Finance Domains

Yilun Zhao, Hongjun Liu, Yitao Long, Rui Zhang, Chen Zhao, Arman Cohan

专题命中数学推理：reasoning(title,abstract)；math reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)

Comments ACL 2024 Oral

2301.13379 2023-09-22 cs.CL 90%

Faithful Chain-of-Thought Reasoning

Qing Lyu, Shreya Havaldar, Adam Stein, Li Zhang, Delip Rao, Eric Wong, Marianna Apidianaki, Chris Callison-Burch

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；planning(abstract)

Comments IJCNLP-AACL 2023 camera-ready version

2306.02408 2023-06-06 cs.CL 90%

Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning

Beichen Zhang, Kun Zhou, Xilin Wei, Wayne Xin Zhao, Jing Sha, Shijin Wang, Ji-Rong Wen

专题命中数学推理：reasoning(title,abstract)；math reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)

Comments 17 pages, working in progress

2305.04091 2023-05-29 cs.CL 90%

Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models

Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；math reasoning(abstract)

Comments ACL 2023

2606.31779 2026-07-14 cs.LG cs.CL 版本更新 90%

Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers

弥合潜在推理与显式推理之间的差距：循环Transformer

Ying Fan, Anej Svete, Kangwook Lee

机构 * UW-Madison（威斯康星大学麦迪逊分校）； Microsoft Research（微软研究院）； ETH Zürich（苏黎世联邦理工学院）； KRAFTON（魁匠团）； Ludo Robotics

专题命中数学推理：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结提出LOTUS方法，利用循环Transformer在潜在空间进行多步推理，通过并行监督潜在块上的CoT令牌，首次在3B规模弥合与显式CoT的差距，并将推理延迟降低2.5-6.9倍。

2605.13511 2026-06-02 cs.CL cs.AI 90%

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

Many-Shot CoT-ICL: 使上下文学习真正学习

Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

机构 * The University of Hong Kong（香港大学）

专题命中数学推理：CoT(title,title_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结研究多示例思维链上下文学习在推理任务中的特性，提出曲线演示选择方法，在数学任务上提升5.42个百分点。

Comments Accepted by ICML 2026

2601.14440 2026-03-18 cs.AI cs.CL cs.LG 90%

VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration

VisTIRA: 通过结构化工具集成缩小图像-文本模态差距以提升视觉数学推理

Saeed Khaki, Ashudeep Singh, Nima Safaei, Kamal Ginotra

机构 * Microsoft AI（微软人工智能）

专题命中数学推理：reasoning(title,abstract)；math reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 VisTIRA通过结构化工具集成框架，解决图像形式数学问题的推理难题，改进视觉数学推理能力，实验表明工具监督和OCR定位能有效缩小模态差距。

2402.07754 2024-12-06 cs.CL cs.AI cs.LG 90%

Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models

Jiacheng Ye, Shansan Gong, Liheng Chen, Lin Zheng, Jiahui Gao, Han Shi, Chuan Wu, Xin Jiang, Zhenguo Li, Wei Bi, Lingpeng Kong

专题命中数学推理：reasoning(title,abstract)；chain-of-thought(title,abstract)；self-correction(abstract)；分类 cs.CL、cs.AI、cs.LG