大模型推理能力

Not All LLM Reasoning is Visible in the Chain-of-Thought

并非所有大语言模型的推理都能在思维链中体现

Vatsal Baherwani, Tom Goldstein, Ashwinee Panda

机构 * New York University（纽约大学） ； University of Maryland（马里兰大学） ； TogetherAI 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title)；CoT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨大语言模型输出令牌是否体现所有推理，发现前沿模型存在利用无关填充令牌提升合成推理任务性能的不可见推理现象，评估多个模型，揭示填充令牌益处因模型和令牌而异，还表明其能服务隐藏目标，且强化学习等方法无法使填充令牌益处在测试时持续。

Artificial Intelligence for Mathematical Reasoning: An Integrated Survey of Language Models, Neuro-symbolic Systems, and Verified Discovery

人工智能数学推理：语言模型、神经符号系统与验证发现的综合综述

Syed Rifat Raiyan, Mohsinul Kabir, Hasan Mahmud, Md Kamrul Hasan, Sophia Ananiadou

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文综述了数学推理领域从早期规则系统到当代推理模型、多智能体系统及验证发现工作流的演变，沿非正式推理、形式推理、数学发现及推理技术四轴组织，并评估了基准测试、失败模式及未来方向。

Comments Under review, 47 pages, 14 figures, 22 tables

Procedural Knowledge at Scale Improves Reasoning

大规模程序知识提升推理能力

Di Wu, Devendra Singh Sachan, Wen-tau Yih, Mingda Chen

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Meta FAIR 纠错

专题命中 数学推理 ：reasoning(title,summary_cn)；分类 cs.CL

AI总结 本研究提出Reasoning Memory框架，通过大规模检索增强生成方法，有效利用程序知识提升推理能力，在多个基准测试中表现优于现有方法。

Comments COLM 2026 Camera Ready

Masked Distillation: Internalizing the Chain-of-Thought in Language Models

掩码蒸馏：将思维链内化到语言模型中

Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati

机构 * SCAI, Arizona State University（亚利桑那州立大学计算与增强智能学院） 纠错

专题命中 数学推理 ：chain-of-thought(title)；reasoning(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 研究能否将大型推理模型中间步骤计算内化到语言模型参数中，提出掩码蒸馏框架，在自我蒸馏和双模型设置中实例化，并改变中间令牌支架长度，通过实验在GSM8K和Countdown推理领域进行评估。

The Weight of Silence: A Causal Case for Weights Over the Scratchpad in Latent Chess Reasoning

沉默的权重：潜在国际象棋推理中权重优于暂存器的因果案例

Ishan S. Kshirsagar

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究国际象棋模型潜在推理，通过分阶段潜在推理课程训练并强化学习，发现强化学习增加对干扰的鲁棒性而非依赖思维内容，反驳潜在思维是推理时暂存器的假设，表明其主要作用是塑造模型参数，还展示了强化学习在国际象棋领域的有效提升。

Comments 28 pages, 5 figures, preprint also available at Zenodo: https://zenodo.org/records/21619703 v2: added statistical significance testing on the n=1000 causal battery replication (Appendix A.8), added SVD-based weight-space rank analysis (Appendix A.11), corrected false-checkmate rate to reflect larger-sample data

Frustratingly Simple Black-Box Adaptation of Language Models via Logit Bias

通过对数偏差对语言模型进行极其简单的黑箱适应

Ofek I. Cohen, Lior Shani, Aviv Rosenberg, Ankur Samanta, Tal Wagner, Yonathan Efroni

机构 * Tel Aviv University（特拉维夫大学） ； Google Research（谷歌研究院） ； Columbia University（哥伦比亚大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究如何通过简单API级控制调整语言模型，开发黑箱方法学习对数偏差向量，无需修改模型权重或梯度，该方法在数学和推理基准上优于基础模型，是一种轻量级的语言模型适应机制。

Comments 36 pages, 4 figures, 6 tables. Appendix included. Code available at https://github.com/Ofek-Israeli/logit_bias_lm_adaptation

Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

相同问题，不同答案：超越准确率评估大语言模型的可靠性

Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型在不同等效表述问题下的答案变化，发现其输出依赖措辞，准确率指标掩盖不稳定性，实例级行为不稳定，提出自释义策略可恢复潜在知识提升性能，强调评估一致性对展现模型可靠性的重要性。

Multi-Turn On-Policy Distillation with Prefix Replay

基于前缀重放的多轮在线策略蒸馏

Baohao Liao, Hanze Dong, Christof Monz, Xinxing Xu, Li Dong, Furu Wei

机构 * Microsoft Research（微软研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究用于智能体任务的在线策略蒸馏，提出重放前缀在线策略蒸馏方法，复用预收集教师轨迹作重放前缀，解决多轮在线策略蒸馏的前缀陷阱问题，提高效率且保持或提升精度。

LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding

LOCKS：用于高效长上下文解码的页面局部紧凑键摘要

Junsung Hwang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对长上下文解码中KV缓存瓶颈问题，提出LOCKS方法，为页面提供局部紧凑键摘要，通过重建对数its、估计注意力质量等操作，仅关注顶部页面，在多种任务中表现出色，显著降低解码延迟。

H$^2$SD: Hybrid Hindsight Self-Distillation

H$^2$SD：混合事后自蒸馏

Qiye Cai, Yichuan Ma, Peiji Li, Yongkang Chen, Qipeng Guo, Yicheng Zou, Linyang Li, Xiaocheng Feng, Bing Qin

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对强化学习中奖励监督问题，提出 H$^2$SD 混合事后自蒸馏框架。成功轨迹用教师概率调更新幅度，失败轨迹基于参考提示调整教师并最小化反向 KL 散度，实验表明该框架优于基线，能稳定优化且效率良好。

Universal Quantum Transformer

通用量子Transformer

Sungyong Chung, Alireza Talebpour

机构 * Grainger College of Engineering, Department of Civil and Environmental Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院土木与环境工程系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出通用量子Transformer（UQT），利用多量子比特系统的物理特性作为归纳偏置，通过参数化几何相位嵌入和SU(2)波干涉实现精确的数学和代数推理，在紧凑的5量子比特基板上完美学习循环模算术和非阿贝尔代数，并实现确定性泛化。

TGMS: An Agent-Native Bi-Temporal Graph Management System

TGMS：一种原生代理双时态图管理系统

Xiaofei Zhang

专题命中 数学推理 ：verifier(abstract)

AI总结 研究针对时态图问题中LLM代理常失败的情况，提出双时态属性图管理系统TGMS，将13个运算符作为代理工具，LLM规划调用，系统计算，能分离有效时间与事务时间，在基准测试中表现优异，开源代码等。

Adapter Merging Reactivates Latent Reasoning Traces: A Mechanism Analysis

适配器合并重新激活潜在推理痕迹：一种机制分析

Junyi Zou

机构 * Zjydiary Group（Zjydiary小组） 纠错

专题命中 代码与定理证明 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示适配器合并后推理痕迹的重新激活机制，通过几何方法减少泄漏并提升准确性。

Comments Withdrawn by the authors after identifying an implementation error in adapter coefficient scaling that materially affects the main empirical results and invalidates the current conclusions. A corrected reanalysis is in progress

Recursive Governance: A Graph-Theoretic Framework for Risk Propagation and Drift Detection in Agentic AI Systems

递归治理：智能体人工智能系统中风险传播与漂移检测的图论框架

Sriram Nagaraj, Advaith Nila Narayanan

专题命中 代码与定理证明 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)

AI总结 针对金融机构模型风险管理问题，提出动态IaC治理循环，贡献包括引入校准DoA得分、构建DAG定义算法、开发轨迹监测协议及解决版本变化等实际复杂性问题，用于智能体人工智能系统风险传播与漂移检测。

ReasFlow: Assisting Reasoning-Centric Scientific Discovery in Applied Mathematics via a Knowledge-Based Multi-Agent System

ReasFlow：通过基于知识的多智能体系统助力应用数学中以推理为中心的科学发现

Yutong He, Daibo Li, Guohong Li, Jiahe Geng, Zhengyang Huang, Can Ren, Zekun Zhang, Yifan Liu, Shuchen Zhu, Hengrui Zhang, Boao Kong, Ming Sun, Shu Li, Chenyi Li, Jiang Hu, Kun Yuan, Zaiwen Wen, Pingwen Zhang

专题命中 代码与定理证明 ：reasoning(title,abstract)；分类 cs.AI

AI总结 针对理论驱动科学发现探索不足的问题，ReasFlow引入以推理为中心的自主智能体系统，通过内部验证循环和知识检索机制减少专家干预，能统一多项科研任务，从最少提示生成高质量论文，在开源基线中表现出色。

A Frozen 12B Beats Frontier Models on Verified Work: 100% Accuracy, 0 Tokens, Bit-Exact, Forever

一个冻结的12B模型在经过验证的任务上超越前沿模型：100%准确率、零token、位精确、永远如此

Sietse Schelpe

专题命中 代码与定理证明 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出一种让模型冻结，通过增长持久内存来解决问题的方法。在多个问题族实例上，四种架构得分优异，执行与参数扩展解耦。该方法在开放式推理中也有效，内存选择快，存储规模大，在已验证任务上超越前沿模型。

Comments Industry experience report. 14 pages, 8 figures. Public testbench: https://corbenic-galahad-bench.hf.space; companion repository with SHA-256 provenance manifest: https://github.com/corbenicai/galahad-bench

Invariant Discovery for Networked Systems

网络系统的不变量发现

Hongyu Hè, Alexander Krentsel, Sylvia Ratnasamy, Maria Apostolaki

专题命中 代码与定理证明 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究网络系统不变量发现问题，核心方法是将其分为人工智能驱动的语法“发现”与统计驱动的“搜索”问题，设计实现Autogram系统，贡献是能在多种数据上高覆盖率、低误报地恢复专家不变量并讨论开放问题。

Comments 8 pages, 4 figures, 1 table

OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows

OS-Sentinel: 通过现实工作流中的混合验证实现安全增强的移动GUI代理

Qiushi Sun, Mukai Li, Zhoumianze Liu, Zhihui Xie, Fangzhi Xu, Zhangyue Yin, Kanzhi Cheng, Zehao Li, Zichen Ding, Qi Liu, Zhiyong Wu, Zhuosheng Zhang, Ben Kao, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） ； Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 代码与定理证明 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 OS-Sentinel通过结合形式验证器和VLM上下文判断者，提升移动GUI代理的安全性，实验显示在多个指标上优于现有方法。

Comments ACL 2026 (Oral) & Best Paper at AIWILD @ ICLR 2026

The Lattice Representation Hypothesis of Large Language Models

大语言模型的晶格表示假说

Bo Xiong

机构 * Stanford University（斯坦福大学） 纠错

专题命中 代码与定理证明 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出大语言模型的晶格表示假说，通过嵌入几何将概念层次和逻辑运算统一到线性表示中，实验表明LLM嵌入编码概念晶格及其逻辑结构。

Comments Published at ICLR 2026

On Some Problems from the Kourovka Notebook

关于《库罗夫卡笔记本》中的一些问题

Wouter van Doorn, Elias Judin, Pietro Monticone, Daniel Morrison

专题命中 代码与定理证明 ：reasoning(abstract)

AI总结 本文解决《库罗夫卡笔记本》中八个群论问题，包括构建特定群、证明元素乘积取值情况、说明群阶与统计量不能确定单性、构造算子，还涉及确定生成群、证明幂图性质、探讨子群格情况及反驳秩不等式，且由形式推理主体在Lean中完成。

Comments 21 pages. Lean 4 formalisation: https://github.com/pitmonticone/Kourovka. v2: Expands the appendix with an account on problem selection and adds the MathOverflow provenance of Problem 18.50

SymStep: Symbolic Step Verification for Logical Reasoning

SymStep：用于逻辑推理的符号步骤验证

Aida Usmanova, Rui Gao, Dilshod Azizov, Ricardo Usbeck, Zangir Iklassov

机构 * Leuphana University of Lüneburg（吕讷堡莱普芬纳大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)

AI总结 研究针对约束密集型逻辑推理任务中思维链提示的不足，提出SymStep方法，通过语言模型分步声明、约束传播器检查一致性等进行推理，在多个逻辑推理任务上表现优异，最小剩余值指导和一致性检查起关键作用。

Reason Popper-ly: Patching In-Context Reasoning with Inductive Logic Programming

合理地运用波普尔方法：用归纳逻辑编程修补上下文推理

Zirong Chen, Meiyi Ma

机构 * Vanderbilt University（范德堡大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；verifier(abstract)

AI总结 研究针对思维链提示中间步骤逻辑不合理问题，提出Reason Popper-ly框架，用归纳逻辑编程学习规则作在线验证器校正步骤，在CLUTRR基准测试中提升了模型准确率，还产生细粒度错误分类法，优于完全外部符号管道。

Comments Accepted at the 20th Conference on Neurosymbolic Learning and Reasoning

ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation

ADAGE：一种用于类比推理评估的语言无关管道

Ahmed Haj Ahmed, Alvin Grissom

机构 * Haverford College（哈弗福德学院） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对多语言推理评估依赖翻译基准的问题，提出ADAGE语言无关管道，结合母语者策划与大语言模型辅助生成构建基准，通过为多种语言构建基准并评估模型，发现文化推理差距，还发布了相关内容。

DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning

DiscoLoop: 循环离散嵌入与连续隐藏状态用于多跳推理

Hengyu Fu, Tianyu Guo, Zixuan Wang, Hanlin Zhu, Jason D. Lee, Jiantao Jiao, Stuart Russell, Song Mei

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对多跳推理中非循环Transformer的深度局部存储问题，提出DiscoLoop架构，通过循环同时携带离散嵌入和连续隐藏状态，实现近乎完美的泛化，并在符号和合成语言任务中显著减少训练步数。

Comments 16 pages, 7 figures

Do Diagrams Help Large Language Models Reason? Evidence from Syllogistic Reasoning

图表有助于大语言模型推理吗？来自三段论推理的证据

Risako Ando, Koji Mineshima

机构 * Keio University（庆应义塾大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究三段论推理中图表对大语言模型的影响，比较自然语言、逻辑符号、线性图表和欧拉图四种表示条件，利用285个问题评估两个模型，发现图表不能始终提升性能，模型在中性问题上表现不佳，从图表中获益有限。

Comments To appear in the Proceedings of the 15th International Conference on the Theory and Application of Diagrams (Diagrams 2026)

SCAIR: Schema-Conditioned Agentic Iterative Reasoning for Enterprise Knowledge Graphs

SCAIR：用于企业知识图谱的模式条件代理迭代推理

Prateek Chaturvedi, Yuqicheng Zhu, Hongkuan Zhou, Dongzhuoran Zhou, Yunjie He, Steffen Staab, Fei Du, Jie Tang, Evgeny Kharlamov

机构 * University of Stuttgart（斯图加特大学） ； Bosch Center for AI（博世人工智能中心） ； University of Oslo（奥斯陆大学） ； University of Southampton（南安普顿大学） ； BSH Home Applications Holding (China) Co., Ltd（博西华家用电器有限公司（中国）） ； Tsinghua University（清华大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 针对现有方法在企业知识图谱应用的局限，提出SCAIR无训练框架，集成结构化规划与受控迭代推理，通过模式条件结构先验等提升性能，强调企业图推理要结合领域约束，与业务逻辑对齐可增效。

Comments Accepted at ACL 2026 Industry Track

KANEx: Translating Kolmogorov-Arnold Networks' Interpretability to Medical Explainability

KANEx：将柯尔莫哥洛夫-阿诺德网络的可解释性转化为医学可解释性

Krithi Shailya, Ananya Lakshmi Ravi, Venkatanathan K. V., Sowmya S. Sundaram, Gokul S. Krishnan, Aditi Anand, Balaraman Ravindran

机构 * Indian Institute of Technology Madras（印度理工学院马德拉斯分校） ； Vanderbilt University School of Medicine（范德堡大学医学院） 纠错

专题命中 逻辑推理 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对医学应用中视觉模型黑箱问题，提出KANEx框架，利用柯尔莫哥洛夫-阿诺德网络的符号透明度为VLM推理奠基，设计KAN-Map热图生成方法，经实验验证该方法能提升语义相似度、视觉定位及推理质量，为可信医学人工智能发展助力。

Comments MICCAI 2026

CONSISTRE: A Unified Consistency-Aware Framework for Document-Level Relation Extraction with Large Language Models

CONSISTRE：用于文档级关系抽取的统一一致性感知框架及大语言模型

Mingxuan Sun

机构 * Université de Sherbrooke（舍布鲁克大学） 纠错

专题命中 逻辑推理 ：reasoning(abstract)；分类 cs.CL

AI总结 研究针对文档级关系抽取中，大语言模型预测易违反关系约束的问题，提出CONSISTRE统一框架。通过推理时的约束感知等及训练时的知识蒸馏强化学习两条路径解决，实验表明该框架有效提升性能，缩小开源与专有模型差距，增强可靠性。

Comments 13 pages, 2 figures. Submitted to IEEE/ACM Transactions on Audio, Speech, and Language Processing

Building AI That Works: ESnet's Pragmatic Approach to AI-Driven Operational Excellence

构建有效的人工智能：ESnet实现人工智能驱动卓越运营的务实方法

Bin Dong, Sukhada Gholba, Brooklin Gore, Shawn Kwang, David Mitchell, Samuel Oehlert, Garrett Stewart, Brendan White, Luke Baker, Ed Balas, Britt Gathright, Chin Guok, Jon-Paul Heron, John MacAuley, Scott Richmond, Chris Robb, Chris Tracy, Kesheng Wu

专题命中 逻辑推理 ：reasoning(abstract)；分类 cs.AI

AI总结 ORBIT项目针对ESnet运营痛点，将智能人工智能集成到ServiceNow平台，采用模块化分层架构，以版本化、测试的“技能”管理工具链，完成多项任务，减少步骤、消除错误模式，获广泛应用。

Let AI Agents Translate Networks, Not Reason About Them

让人工智能代理翻译网络，而非对其进行推理

Hongyu Hè, Maria Apostolaki

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 逻辑推理 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对生产网络缺乏形式模型的问题，提出将人工智能局限于网络工件到形式逻辑规则的翻译，依靠求解器推理，构建TypoNet验证模拟广域网符号模型，能快速可靠回答操作问题及促进故障定位。

Comments 8 pages, 3 figures, 1 table