大模型推理能力

Understanding Reasoning from Pretraining to Post-Training

理解从预训练到训练后阶段的推理

Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, Matus Telgarsky, Pavel Izmailov

机构 * New York University（纽约大学） ； Modal Labs（模态实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究强化学习在大语言模型从预训练到训练后阶段对推理的作用，以国际象棋为测试平台，按标准流程训练模型，发现预训练损失可预测RL后性能，RL奖励曲线斜率与预训练令牌有关，还揭示RL对SFT策略的影响，且在数学领域也有相同模式。

Path-Lock Expert: Separating Reasoning Mode in Hybrid Thinking via Architecture-Level Separation

路径锁定专家：通过架构层面分离实现混合思维中的推理模式分离

Shouren Wang, Wang Yang, Chuang Ma, Debargha Ganguly, Vikash Singh, Chaoda Song, Xinpeng Li, Xianxuan Long, Vipin Chaudhary, Xiaotian Han

机构 * Case Western Reserve University（凯斯西储大学） ； NII LLMC, Japan（日本NII LLMC） ； Michigan State University（密歇根州立大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Path-Lock Expert，通过架构层面分离推理与非推理模式，减少推理泄漏，提升非推理模式的准确性和简洁性。

Comments 38 pages, 12 figures, 25 tables

Process Supervision of Confidence Margin for Calibrated LLM Reasoning

校准大语言模型推理的置信度边际过程监督

Liaoyaqi Wang, Chunsheng Zuo, William Jurayj, Benjamin Van Durme, Anqi Liu

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出RLCM框架，通过增强的边际过程奖励优化正确性和置信度可靠性，提升模型校准性能并保持准确性，同时实现更高效的置信度加权聚合。

Not All Turns Are Equally Hard: Adaptive Thinking Budgets For Efficient Multi-Turn Reasoning in Agents

并非所有转折都同样困难：为高效多轮推理的自适应思维预算

Neharika Jali, Anupam Nayak, Gauri Joshi

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TAB方法，通过自适应预算分配提升多轮推理效率，在数学推理基准中实现更高的准确率与token节省。

Multi-objective Evolutionary Merging Enables Efficient Reasoning Models

多目标进化融合实现高效推理模型

Mario Iacobelli, Adrian Robert Minut, Tommaso Mencattini, Donato Crisostomi, Andrea Santilli, Iacopo Masi, Emanuele Rodolà

机构 * Sapienza University of Rome（罗马大学） ； Independent Researcher（独立研究员） ； EPFL（瑞士联邦理工学院洛桑） ； NVIDIA（英伟达） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Evo-L2S框架，通过多目标优化解决长到短推理问题，减少生成推理轨迹长度同时保持或提升推理准确性。

Comments Published as a conference paper at COLM 2026

An Expectation-Maximization Perspective on Reinforcement Learning for LLM Reasoning

面向大语言模型推理的强化学习的期望最大化视角

Tianbing Xu

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出EM策略梯度（EMPG）框架，将大语言模型推理的强化学习转化为期望最大化问题，在简化优化流程的同时，在GSM8K、MATH Hard数据集上取得与GRPO相当或更优的性能，且能生成更简洁的结构化推理轨迹。

Comments 20 pages

From Chains to DAGs: Probing the Graph Structure of Reasoning in LLMs

从链到DAG：探测语言模型推理中的图结构

Tianjun Zhong, Linyang He, Ziyang Li, Nima Mesgarani

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 研究探讨语言模型内部推理是否以有向无环图形式存在，通过设计探针验证DAG结构在各层的出现，并发现中间层具有最强的结构恢复能力。

Sparks of Cooperative Reasoning: LLMs as Strategic Hanabi Agents

合作推理的火花：LLMs作为战略汉诺塔代理

Mahesh Ramesh, Kaousheik Jayakumar, Aswinkumar Ramkumar, Pavan Thodima, Aniket Rege, Emmanouil-Vasileios Vlatakis-Gkaragkounis

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文研究了在不完全信息下多智能体系统的合作推理挑战，通过汉诺塔游戏评估不同LLM模型在策略沟通和状态跟踪中的表现，展示了模型在协作游戏中的改进效果。

R3S: Refining and Recovering Reinforcement Signals for Multilingual Understanding and Reasoning

通过翻译-推理联合训练实现自我改进的多语言长推理

Junxiao Liu, Zhijun Wang, Yixiao Li, Zhejian Lai, Liqian Huang, Xin Huang, Xue Han, Junlan Feng, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； University of Tübingen（图宾根大学） ； China Mobile Communications Company Limited Research Institute（中国移动通信集团有限公司研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 TRIT通过整合翻译训练提升多语言长推理能力，在MMATH上超越基线7个百分点，提升答案正确性和语言一致性。

Comments 16 pages, 11 figures

Rethinking Reasoning with MDLMs: Early Exits, Post-hoc Reasoning, and Beyond

重新思考MDLM的推理：早期退出、事后推理及其他

Zachary Horvitz, Raghav Singhal, Hao Zou, Carles Domingo-Enrich, Zhou Yu, Rajesh Ranganath, Kathleen McKeown

机构 * Columbia University（哥伦比亚大学） ； Department of Computer Science, New York University（纽约大学计算机科学系） ； Microsoft Research（微软研究院） ； Center for Data Science, New York University（纽约大学数据科学中心） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 本文提出“推理即填充”技术，基于掩码扩散语言模型（MDLMs）实现早期退出、事后推理等能力，在GSM8k数据集上微调LLaDA-8B-Base提升准确率14.9%，证明MDLM训练目标对推理有显著优势。

Comments COLM 2026 Camera Ready

Hybrid Policy Distillation for LLMs

混合策略蒸馏用于大语言模型

Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu

机构 * Department of Computer Science（计算机科学系） ； Engineering, Shanghai Jiao Tong University（上海交通大学工程学院） ； Shanghai Innovation Institute（上海创新研究院） ； Large Language Department, Tencent（腾讯大语言部门） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出混合策略蒸馏方法，结合正反KL散度优势，提升模型生成能力和效率，验证了其在多种任务中的有效性。

Comments ICML 2026

WebChoreArena: Evaluating Web Browsing Agents on Realistic Tedious Web Tasks

WebChoreArena：在现实繁琐网页任务上评估网页浏览智能体

Atsuyuki Miyai, Zaiying Zhao, Kazuki Egashira, Atsuki Sato, Tatsumi Sunada, Shota Onohara, Hiromasa Yamanishi, Mashiro Toyooka, Kunato Nishina, Ryoma Maeda, Kiyoharu Aizawa, Toshihiko Yamasaki

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出WebChoreArena，作为WebArena的扩展，包含532个耗时300多小时开发的繁琐网页任务，从大规模记忆、计算、长期记忆三维度评估网页浏览智能体，实验显示其能清晰衡量LLM进展且难度高于WebArena。

Comments COLM2026. Project Page: https://webchorearena.github.io/

Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update

代理探索与可重用引导：基于代理引导更新信号的模块化大语言模型训练后范式

Daocheng Fu, Rong Wu, Yu Yang, Jianbiao Mei, Licheng Wen, Pinlong Cai, Xuemeng Yang, Yong Liu, Botian Shi, Yu Qiao

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型训练后优化信号耦合问题，提出PUST框架，通过代理模型探索、提取并传输相对改进信号，解耦更新信号探索与分布对齐，减少计算开销，支持异步处理与跨模型转移，提升训练后范式的模块化、可重用性与效率。

Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic

破碎的组合性：变换器在算术中的反直觉学习动态

Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Department of Computer Sciences, University of Wisconsin–Madison（威斯康星大学麦迪逊分校计算机科学系） ； Department of Statistics, University of Wisconsin–Madison（威斯康星大学麦迪逊分校统计学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现变换器在学习算术任务时表现出反直觉的组合性，其学习动态受训练数据相关性影响而非因果或程序性组合。

Comments 37 pages, 29 figures

On-Policy Self-Distillation without Any Supervision

无任何监督的在线策略自蒸馏

Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, Nuno Vasconcelos

机构 * UC San Diego（加州大学圣迭戈分校） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Maryland, College Park（马里兰大学帕克分校） ； ByteDance（字节跳动） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本研究提出无监督在线策略自蒸馏（U-OPSD），仅用模型自身生成结果实现在线策略自蒸馏，在多数学基准上优于基础模型，部分场景超越OPSD、GRPO等监督方法。

Comments Project page at https://williamium3000.github.io/u-opsd/ and code at https://github.com/williamium3000/u-opsd

Skip a Layer or Loop It? Learning Program-of-Layers in LLMs

跳过一层还是循环它？学习LLM中的层程序

Ziyue Li, Yang Li, Tianyi Zhou

机构 * Ziyue Li, Yang Li, Tianyi Zhou（李子悦、李阳、周天毅） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出PoLar方法，通过轻量级预测网络学习为每个输入动态跳过或重复预训练层，在数学推理任务上以更少层数提升准确率。

Comments Accepted at ICML 2026. Substantially extends arXiv:2507.07996. Updated DART-Math experiments by removing duplicate examples; conclusions remain unchanged. Code: https://github.com/tianyi-lab/PoLar

Decodable but Not Faithful: Coupling Natural-Language Rationales to Programmatic Verifiers

可解码但不忠实：将自然语言理由与程序化验证器耦合

Vatsal Ananthula, Adarsh Kumarappan

机构 * AI4Math 纠错

专题命中 代码与定理证明 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出验证器耦合推理框架，通过一致性训练使验证器信息可从理由表示中解码，但发现可解码性不保证忠实生成，在多个任务中验证了该差距。

Comments Accepted to the ICML 2026 AI4Math Workshop as a poster

Human agency in initial human-AI proof formalization workflows

表征初始人机交互的证明形式化工作流

Katherine M. Collins, Simon Frieder, Jonas Bayer, Jacob Loader, Jeck Lim, Peiyang Song, Fabian Zaiser, Lexin Zhou, Shanda Li, Sam Looi, Joshua B. Tenenbaum, Umang Bhatt, Adrian Weller, Jose Hernandez-Orallo, Cameron E. Freer, Valerie Chen, Ilia Sucholutsky

机构 * Massachusetts Institute of Technology（麻省理工学院） ； University of Cambridge（剑桥大学） ； Princeton University（普林斯顿大学） ； University of Oxford（牛津大学） ； Caltech（加州理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； Universitat Politècnica de València（瓦伦西亚理工大学） ； New York University（纽约大学） 纠错

专题命中 代码与定理证明 ：reasoning(abstract)；分类 cs.AI

AI总结 通过混合方法分析，研究人们在形式化证明过程中对AI工具的需求、障碍及实际使用模式，发现AI辅助能提高形式化准确率且用户偏好多样但普遍希望保持人类对证明发现过程的高层控制。

Comments Updated working paper

Goedel-Code-Prover: Hierarchical Proof Search for Open State-of-the-Art Code Verification

Goedel-Code-Prover：面向开放状态的最新代码验证的分层证明搜索

Zenan Li, Ziran Yang, Deyuan He, Haoyu Zhao, Andrew Zhao, Shange Tang, Kaiyu Yang, Aarti Gupta, Zhendong Su, Chi Jin

机构 * ETH Zürich（苏黎世联邦理工学院） ； Princeton Language and Intelligence（普林斯顿语言与智能实验室） ； Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） ； MiroMind 纠错

专题命中 代码与定理证明 ：planning(abstract)；分类 cs.AI

AI总结 本文提出Goedel-Code-Prover框架，通过分层证明搜索提升Lean4中代码验证的自动化水平，实现62%的成功率，优于现有基线方法。

Comments Published as a COLM paper

CognixShield: PoV-Guided Vulnerable API Usage Detection in Large Codebases via LLMs

CognixShield：基于LLM的、面向大型代码库的PoV引导式漏洞API使用检测

Quanzhi Fu, Wang Lingxiang, Wenjia Song, Gelei Deng, Yi Liu, Dan Williams, Ying Zhang

专题命中 代码与定理证明 ：reasoning(abstract)

AI总结 CognixShield是一款LLM驱动的框架，通过保留语义的AST碎片化、感知漏洞的多智能体RAG、PoV引导的语义推理三个核心组件，在57个Java应用上实现了优于现有工具的漏洞API使用检测性能。

Comments accepted in ESEM 2026

SymboUQ: Symbolic Uncertainty Quantification for Spatial Reasoning in LLMs

SymboUQ：面向大语言模型空间推理的符号化不确定性量化框架

Dahai Yu, Lin Jiang, Rongchao Xu, Guang Wang

专题命中 逻辑推理 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.AI

AI总结 SymboUQ是面向LLMs空间推理的符号化不确定性量化框架，通过区分可符号性与语义确定性，整合三类分数估计最终答案可靠性，在五个空间推理基准的四个冻结LLM骨干上，使AUROC相对提升约8%、Brier损失相对降低7%。

Are Latent Reasoning Models Easily Interpretable?

潜在推理模型是否易于解释？

Connor Dilgren, Sarah Wiegreffe

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.LG

AI总结 本文研究了潜在推理模型的可解释性，发现其推理令牌往往不必要，且可通过解码自然语言推理轨迹验证预测正确性，表明当前LRMs主要编码可解释过程。

Comments Published as a conference paper at COLM 2026

CresOWLve: Benchmarking Creative Problem-Solving Over Real-World Knowledge

CresOWLve：基于现实世界知识的创造性问题解决基准测试

Mete Ismayilzada, Renqing Cuomao, Daniil Yurshevich, Anna Sotnikova, Lonneke van der Plas, Antoine Bosselut

机构 * EPFL（瑞士联邦理工学院洛桑） ； Università della Svizzera italiana (USI)（意大利语区瑞士大学） 纠错

专题命中 逻辑推理 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CresOWLve基准测试，评估创造性问题解决能力，通过现实世界知识中的谜题，发现模型在事实性问题与创造性问题上的表现差异显著。

Comments Accepted at COLM 2026

Symbolic Attack Chain Generation from Atomic Red Team Techniques: An Empirical Study of Predicate Representation Granularity

基于Atomic Red Team技术的符号化攻击链生成：谓词表示粒度的实证研究

Ramya Varunsegar

专题命中 逻辑推理 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本研究对比九类与五类谓词粒度的AALM，发现粒度对攻击链有效性影响小，81.3%结果一致，高粒度仅提升规划论证的内部结构分辨率。

LogicIF: Towards Complex Logic Instruction Following

复杂逻辑指令生成

Mian Zhang, Shujian Liu, Sixun Dong, Ming Yin, Yebowen Hu, Xun Wang, Simin Ma, Song Wang, Sathish Reddy Indurthi, Haoyun Deng, Zhiyu Zoey Chen, Kaiqiang Song

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Independent Researcher（独立研究者） ； Duke University（杜克大学） ； University of Central Florida（佛罗里达大学中央分校） 纠错

专题命中 逻辑推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LogicIFGen和LogicIFEval，用于生成和评估复杂逻辑指令，揭示了当前LLMs在复杂指令跟随上的不足。

Comments COLM 2026 Acceptance

Learning to Coordinate Symbolic Tools: LLM Agents for Verified Sum-of-Squares Certificates

学习协调符号工具：用于验证平方和（SOS）证书的大语言模型（LLM）智能体

Bohan Chen, Shivam N. Patel, Richard Hoffmann, Sam Looi, Tony Yue Yu

专题命中 逻辑推理 ：verifier(abstract)；分类 cs.AI

AI总结 该研究开发结合领域训练、符号工具和验证反馈的LLM智能体，在加权SOS验证任务上达到78.96%成功率，为可精确检查输出领域的工具调用智能体设计提供案例。

Comments 15 pages, 4 figures

AutoRefine: Compiling Trajectories into Validated Typed Agent Artifacts

AutoRefine: 从轨迹到可重用的专业知识为连续LLM代理优化

Libin Qiu, Zhirong Gao, Junfu Chen, Yuhang Ye, Liangyu Li, Weizhi Huang, Xiaobo Xue, Wenkai Qiu, Shuo Tang

机构 * alibaba（阿里巴巴集团） 纠错

专题命中 逻辑推理 ：reasoning(abstract)；分类 cs.AI

AI总结 AutoRefine通过提取和维护双重形式的经验模式，提升连续LLM代理的知识积累与维护效率，实现98.4%的准确率提升。

Comments 7 pages, 2 figures, 3 tables

The Belief-Desire-Intention Ontology for modelling mental reality and agency

信念-愿望-意图本体用于建模心理现实与代理

Sara Zuppiroli, Carmelo Fabio Longo, Anna Sofia Lippolis, Rocco Paolillo, Lorenzo Giammei, Miguel Ceriani, Francesco Poggi, Antonio Zinilli, Andrea Giovanni Nuzzolese

机构 * CNR - Institute of Cognitive Sciences and Technologies（CNR认知科学与技术研究所） ； CNR - Institute for Research on Population and Social Policies（CNR人口与社会政策研究所） ； CNR - Research Institute on Sustainable Economic Growth（CNR可持续经济增长研究所） ； University of Bologna - Department of Philosophy（博洛尼亚大学哲学系） 纠错

专题命中 逻辑推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出了一种形式化的BDI本体，通过模块化设计模式实现信念、愿望、意图及其动态关系，结合LLMs和Semas平台验证其在认知基础和语义可互操作性中的应用。

Journal ref Journal of Web Semantics (2026) 90:100885

Online Learnability of Chain-of-Thought Verifiers: Soundness and Completeness Trade-offs

链式思维验证器的在线可学习性：正确性与完备性的权衡

Maria-Florina Balcan, Avrim Blum, Kiriaki Fragkia, Zhiyuan Li, Dravyansh Sharma

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； Northwestern University（西北大学） 纠错

专题命中 规划推理 ：chain-of-thought(title,abstract)；reasoning(abstract)；planning(abstract)；verifier(abstract)

AI总结 本文提出一种在线学习框架，用于学习链式思维验证器，通过检查解决方案的正确性，解决生成器与验证器之间的反馈循环导致的分布偏移问题，并引入新的Littlestone维度扩展以优化验证器的学习。

Comments The abstract has been abridged due to arXiv length constraints

SIMMER: Benchmarking Latent Failures in LLM Executable Planning with a World Model

SIMMER: 基于世界模型评估LLM可执行规划中的潜在故障

Xiaoxin Lu, Ranran Haoran Zhang, Rui Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 规划推理 ：planning(title,abstract)；reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出SIMMER基准，通过人工策划的厨房领域符号世界模型，评估LLM规划中的潜在故障；实验发现前沿模型最多17%无错误计划，56%含潜在故障，多数不可逆；反事实预演可减少72%潜在故障和75%不可逆案例。

Comments Accepted at COLM 2026