大模型推理能力

When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning

思维链（CoT）何时有助、何时有害：大语言模型推理中序列深度瓶颈的实证研究

Tughanbulut Kurtulush

机构 * Vistula University（维斯图拉大学） 纠错

专题命中 数学推理 ：CoT(title_cn,summary_cn)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究通过实证发现，思维链（CoT）是带宽旁路而非通用推理增强器，在高深度推理任务中可提升大语言模型准确率，在浅层任务中冗余，其效果与任务序列深度、模型规模相关。

Comments 15 pages, 3 figures, 5 tables. Pre-registered study (OSF: https://osf.io/92jdk). Data and code: https://osf.io/hteuj

Demystifying Entropy-based Selection for Chain-of-Thought Compression in Large Reasoning Models

揭秘大型推理模型中基于熵的思维链压缩选择方法

Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

机构 * University of Trieste（的里雅斯特大学） ； University of Milano-Bicocca（米兰-比科卡大学） ； University of Groningen（格罗宁根大学） ； Khoury College of Computer Sciences, Northeastern University（东北大学科里计算机学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究测试了大型推理模型中基于熵的思维链压缩方法的鲁棒性，发现其效果不优于随机剪枝，且任务信息分布在整个推理链上而非小部分令牌中。

ThinkRetrieve: Retrieval-Augmented Reasoning Traces for Test-Time Scaling

ThinkRetrieve：用于测试时缩放的检索增强推理轨迹

Vaibhav Singh, Soumya Suvra Ghosal, Sarvesh Gharat, Soumyabrata Pal, Ramasuri Narayanam, Dinesh Manocha

机构 * IIT Bombay（印度理工学院孟买分校） ； University of Maryland, College Park（马里兰大学帕克分校） ； Adobe Research（奥多比研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 针对大型推理模型测试时缩放的负面效果，提出ThinkRetrieve框架，通过每步动态检索已解决示例注入推理轨迹，在四个数据集上对五个模型实现最高60%的相对准确率提升。

Shorthand for Thought: Compressing LLM Reasoning via Entropy-Guided Supertokens

思维简写：通过熵引导的超令牌压缩LLM推理

Zhenyu Zhao, Sander Land, Daniel M. Bikel, Waseem Alshikh

机构 * Writer, Inc.（Writer公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出通过熵引导的超令牌压缩技术，减少LLM推理过程中的计算开销，同时保留推理结构信息，提升可解释性和效率。

Comments Accepted to COLM 2026. Code available at https://github.com/Writer/shorthand-for-thought

Reinforcement Learning-based Semi-supervised Knowledge Distillation with LLM-as-a-Judge

基于强化学习的知识蒸馏与大语言模型作为评判者

Yiyang Shen, Lifu Tu, Weiran Wang

机构 * University of Iowa（爱荷华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种基于强化学习的知识蒸馏方法，利用大语言模型作为评判者在无标签数据上生成奖励，实现无需真实标签的蒸馏，提升数学推理基准性能。

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

LLMs编码其失败：从预生成激活中预测成功

William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

机构 * Oxford Internet Institute, University of Oxford（牛津大学牛津互联网研究所） ； FLAIR, University of Oxford（牛津大学FLAIR） ； Department of Computer Science, University College London（伦敦大学学院计算机科学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过预生成激活预测LLM在数学和编程任务中的成功率，发现模型内部表示能有效指导更高效的推理，且在MATH任务中通过模型池路由可提升性能并降低70%的推理成本。

Comments Accepted at COLM 2026

Measuring Semantic Abstractness of SAE Features via Nonlocality

通过非局部性测量SAE特征的语义抽象性

Chuqiao Lin, Shivaji Sondhi, Xiao-Liang Qi

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出特征非局部性（FNL）指标，可区分SAE特征的抽象层级，用于审计越狱缓解特征及引导DeepSeek-R1模型特征提升数学推理准确率。

Comments 18 pages, 9 figures

Decodable But Not Detachable: Training Data Granularity Determines Parametric Modularity in Large Language Models

可解码但不可分离：训练数据粒度决定大语言模型的参数模块化

Marcus Armstrong, Navid Ayoobi, Arjun Mukherjee

机构 * University of Houston（休斯顿大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究探讨大语言模型是否存在特定领域参数壳，通过多模型、多领域实验发现训练数据的标记级模块化是参数壳形成的关键，为大语言模型的参数模块化研究提供了核心结论。

TrAC: Trace-Conditioned Answer Consistency for Efficient Uncertainty Quantification in LLMs

TrAC：用于大语言模型高效不确定性量化的轨迹条件答案一致性

Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 针对大语言模型推理轨迹与答案不一致的问题，提出TrAC框架，结合主动与被动信号实现高效不确定性量化，在数学推理基准上提升了AUROC并降低了AURC。