大模型推理能力

Not All LLM Reasoning is Visible in the Chain-of-Thought

并非所有大语言模型的推理都能在思维链中体现

Vatsal Baherwani, Tom Goldstein, Ashwinee Panda

机构 * New York University（纽约大学） ； University of Maryland（马里兰大学） ； TogetherAI 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title)；CoT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨大语言模型输出令牌是否体现所有推理，发现前沿模型存在利用无关填充令牌提升合成推理任务性能的不可见推理现象，评估多个模型，揭示填充令牌益处因模型和令牌而异，还表明其能服务隐藏目标，且强化学习等方法无法使填充令牌益处在测试时持续。

Artificial Intelligence for Mathematical Reasoning: An Integrated Survey of Language Models, Neuro-symbolic Systems, and Verified Discovery

人工智能数学推理：语言模型、神经符号系统与验证发现的综合综述

Syed Rifat Raiyan, Mohsinul Kabir, Hasan Mahmud, Md Kamrul Hasan, Sophia Ananiadou

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文综述了数学推理领域从早期规则系统到当代推理模型、多智能体系统及验证发现工作流的演变，沿非正式推理、形式推理、数学发现及推理技术四轴组织，并评估了基准测试、失败模式及未来方向。

Comments Under review, 47 pages, 14 figures, 22 tables

Procedural Knowledge at Scale Improves Reasoning

大规模程序知识提升推理能力

Di Wu, Devendra Singh Sachan, Wen-tau Yih, Mingda Chen

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Meta FAIR 纠错

专题命中 数学推理 ：reasoning(title,summary_cn)；分类 cs.CL

AI总结 本研究提出Reasoning Memory框架，通过大规模检索增强生成方法，有效利用程序知识提升推理能力，在多个基准测试中表现优于现有方法。

Comments COLM 2026 Camera Ready

Masked Distillation: Internalizing the Chain-of-Thought in Language Models

掩码蒸馏：将思维链内化到语言模型中

Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati

机构 * SCAI, Arizona State University（亚利桑那州立大学计算与增强智能学院） 纠错

专题命中 数学推理 ：chain-of-thought(title)；reasoning(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 研究能否将大型推理模型中间步骤计算内化到语言模型参数中，提出掩码蒸馏框架，在自我蒸馏和双模型设置中实例化，并改变中间令牌支架长度，通过实验在GSM8K和Countdown推理领域进行评估。

The Weight of Silence: A Causal Case for Weights Over the Scratchpad in Latent Chess Reasoning

沉默的权重：潜在国际象棋推理中权重优于暂存器的因果案例

Ishan S. Kshirsagar

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究国际象棋模型潜在推理，通过分阶段潜在推理课程训练并强化学习，发现强化学习增加对干扰的鲁棒性而非依赖思维内容，反驳潜在思维是推理时暂存器的假设，表明其主要作用是塑造模型参数，还展示了强化学习在国际象棋领域的有效提升。

Comments 28 pages, 5 figures, preprint also available at Zenodo: https://zenodo.org/records/21619703 v2: added statistical significance testing on the n=1000 causal battery replication (Appendix A.8), added SVD-based weight-space rank analysis (Appendix A.11), corrected false-checkmate rate to reflect larger-sample data

Frustratingly Simple Black-Box Adaptation of Language Models via Logit Bias

通过对数偏差对语言模型进行极其简单的黑箱适应

Ofek I. Cohen, Lior Shani, Aviv Rosenberg, Ankur Samanta, Tal Wagner, Yonathan Efroni

机构 * Tel Aviv University（特拉维夫大学） ； Google Research（谷歌研究院） ； Columbia University（哥伦比亚大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究如何通过简单API级控制调整语言模型，开发黑箱方法学习对数偏差向量，无需修改模型权重或梯度，该方法在数学和推理基准上优于基础模型，是一种轻量级的语言模型适应机制。

Comments 36 pages, 4 figures, 6 tables. Appendix included. Code available at https://github.com/Ofek-Israeli/logit_bias_lm_adaptation

Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

相同问题，不同答案：超越准确率评估大语言模型的可靠性

Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型在不同等效表述问题下的答案变化，发现其输出依赖措辞，准确率指标掩盖不稳定性，实例级行为不稳定，提出自释义策略可恢复潜在知识提升性能，强调评估一致性对展现模型可靠性的重要性。

Multi-Turn On-Policy Distillation with Prefix Replay

基于前缀重放的多轮在线策略蒸馏

Baohao Liao, Hanze Dong, Christof Monz, Xinxing Xu, Li Dong, Furu Wei

机构 * Microsoft Research（微软研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究用于智能体任务的在线策略蒸馏，提出重放前缀在线策略蒸馏方法，复用预收集教师轨迹作重放前缀，解决多轮在线策略蒸馏的前缀陷阱问题，提高效率且保持或提升精度。

LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding

LOCKS：用于高效长上下文解码的页面局部紧凑键摘要

Junsung Hwang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对长上下文解码中KV缓存瓶颈问题，提出LOCKS方法，为页面提供局部紧凑键摘要，通过重建对数its、估计注意力质量等操作，仅关注顶部页面，在多种任务中表现出色，显著降低解码延迟。

H$^2$SD: Hybrid Hindsight Self-Distillation

H$^2$SD：混合事后自蒸馏

Qiye Cai, Yichuan Ma, Peiji Li, Yongkang Chen, Qipeng Guo, Yicheng Zou, Linyang Li, Xiaocheng Feng, Bing Qin

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对强化学习中奖励监督问题，提出 H$^2$SD 混合事后自蒸馏框架。成功轨迹用教师概率调更新幅度，失败轨迹基于参考提示调整教师并最小化反向 KL 散度，实验表明该框架优于基线，能稳定优化且效率良好。

Universal Quantum Transformer

通用量子Transformer

Sungyong Chung, Alireza Talebpour

机构 * Grainger College of Engineering, Department of Civil and Environmental Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院土木与环境工程系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出通用量子Transformer（UQT），利用多量子比特系统的物理特性作为归纳偏置，通过参数化几何相位嵌入和SU(2)波干涉实现精确的数学和代数推理，在紧凑的5量子比特基板上完美学习循环模算术和非阿贝尔代数，并实现确定性泛化。

TGMS: An Agent-Native Bi-Temporal Graph Management System

TGMS：一种原生代理双时态图管理系统

Xiaofei Zhang

专题命中 数学推理 ：verifier(abstract)

AI总结 研究针对时态图问题中LLM代理常失败的情况，提出双时态属性图管理系统TGMS，将13个运算符作为代理工具，LLM规划调用，系统计算，能分离有效时间与事务时间，在基准测试中表现优异，开源代码等。