大模型推理能力

Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning

大语言模型能否引导自身探索？基于梯度引导的强化学习用于大语言模型推理

Zhenwen Liang, Sidi Lu, Wenhao Yu, Kishan Panaganti, Yujun Zhou, Haitao Mi, Dong Yu

机构 * Tencent AI Lab（腾讯AI实验室） ； University of Notre Dame（诺丁汉大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 G2RL通过利用模型自身的梯度几何特性，改进大语言模型的推理能力，优于传统探索方法。

TraPO: A Semi-Supervised Reinforcement Learning Framework for Boosting LLM Reasoning

TraPO：一种用于提升大语言模型推理能力的半监督强化学习框架

Shenzhi Yang, Guangcheng Zhu, Xing Zheng, Yingfan MA, Zhongqi Chen, Bowen Song, Weiqiang Wang, Junbo Zhao, Gang Chen, Haobo Wang

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 TraPO通过结合少量标注样本与大量未标注样本，提升大语言模型在数学推理任务中的表现。

From Next-Token to Mathematics: The Learning Dynamics of Mathematical Reasoning in Language Models

从单个词到数学：语言模型中数学推理学习动态

Shubhra Mishra, Gabriel Poesia, Noah D. Goodman

机构 * Department of Computer Science 1 and Psychology 2（计算机科学系和心理学系） ； Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究分析了语言模型在预训练和后训练过程中数学推理能力的发展，揭示了数学技能学习顺序与课程设计的相关性，并探讨了指令微调对不同数学技能的影响。

Comments Accepted to COLM 2025. Dataset and code: https://github.com/gpoesia/mathcamps/

Journal ref Conference on Language Modeling (COLM), Montreal, Canada, October 7-10, 2025

Reliable Reasoning Beyond Natural Language

超越自然语言的可靠推理

Nasim Borazjanizadeh, Steven T. Piantadosi

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出神经符号推理方法，通过整合Prolog引擎，解决LLMs在非线性推理任务中的不足，提升推理能力和准确性。

Beyond High-Entropy Exploration: Correctness-Aware Low-Entropy Segment-Based Advantage Shaping for Reasoning LLMs

超越高熵探索：面向推理LLM的正确性感知低熵段优势塑造

Xinzhu Chen, Xuesheng Li, Zhongxiang Sun, Weijie Yu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； School of Artificial Intelligence and Data Science, University of International Business and Economics（国际经济贸易大学人工智能与数据科学学院） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 LESS通过正确性感知的低熵段优势调节，提升推理LLM的准确性和鲁棒性。

SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution

SWE-RL：通过强化学习提升大语言模型推理能力

Yuxiang Wei, Olivier Duchenne, Jade Copet, Quentin Carbonneaux, Lingming Zhang, Daniel Fried, Gabriel Synnaeve, Rishabh Singh, Sida I. Wang

机构 * Meta AI ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 SWE-RL通过强化学习提升大语言模型在软件工程领域的推理能力，实现了41.0%的解决率，超越了现有中等规模LLM的性能。

Comments Accepted to NeurIPS 2025 Main Track

CAMA: Enhancing Mathematical Reasoning in Large Language Models with Causal Knowledge

CAMA: 通过因果知识增强大语言模型的数学推理

Lei Zan, Keli Zhang, Ruichu Cai, Lujia Pan

机构 * Huawei Noah’s Ark Lab France（华为诺亚实验室（法国）） ； Guangdong University of Technology Peng Cheng Laboratory（广东工业大学鹏城实验室） ； Huawei Noah’s Ark Lab China（华为诺亚实验室（中国）） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 CAMA通过构建数学因果图并结合因果知识，提升大语言模型在数学推理任务中的性能。

Journal ref Main Track, AAAI 2026

Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)

为何推理重要？多模态推理的进展综述（v1）

Jing Bi, Susan Liang, Xiaofei Zhou, Pinxin Liu, Junjia Guo, Yunlong Tang, Luchuan Song, Chao Huang, Ali Vosoughi, Guangyu Sun, Jinxi He, Jiarui Wu, Shu Yang, Daoan Zhang, Chen Chen, Lianggong Bruce Wen, Zhang Liu, Jiebo Luo, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； University of Central Florida（中央佛罗里达大学） ； Corning Inc.（康宁公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了多模态推理的进展，探讨了推理在多模态任务中的挑战与优化方法，为未来研究提供指导。

Eliciting Reasoning in Language Models with Cognitive Tools

通过认知工具激发语言模型的推理能力

Brown Ebouky, Andrea Bartezzaghi, Mattia Rigotti

机构 * IBM Research - Zurich（IBM瑞士研究中心） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过引入认知工具，提升语言模型在数学推理任务上的性能，探索推理机制并补充训练后方法的作用。

Comments 25 pages, 2 figures

KTAE: A Model-Free Algorithm to Key-Tokens Advantage Estimation in Mathematical Reasoning

Wei Sun, Wen Yang, Pu Jian, Qianlong Du, Fuwei Cui, Shuo Ren, Jiajun Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2025 Poster

MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning

Jinhao Chen, Zhen Yang, Jianxin Shi, Tianyu Wo, Jie Tang

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Comments 19 pages, 11 figures

Reasoning Models Hallucinate More: Factuality-Aware Reinforcement Learning for Large Reasoning Models

Junyi Li, Hwee Tou Ng

机构 * Department of Computer Science, National University of Singapore（计算机科学系，新加坡国立大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments accepted by NeurIPS 2025

Towards Robust Mathematical Reasoning

Thang Luong, Dawsen Hwang, Hoang H. Nguyen, Golnaz Ghiasi, Yuri Chervonyi, Insuk Seo, Junsu Kim, Garrett Bingham, Jonathan Lee, Swaroop Mishra, Alex Zhai, Clara Huiyi Hu, Henryk Michalewski, Jimin Kim, Jeonghyun Ahn, Junhwi Bae, Xingyou Song, Trieu H. Trinh, Quoc V. Le, Junehyuk Jung

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Seoul National University（首尔国立大学） ； Microsoft（微软） ； Massachusetts Institute of Technology（麻省理工学院） ； Brown University（布朗大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 (main conference), https://aclanthology.org/2025.emnlp-main.1794/

Reasoning Curriculum: Bootstrapping Broad LLM Reasoning from Math

Bo Pang, Deqian Kong, Silvio Savarese, Caiming Xiong, Yingbo Zhou

机构 * Salesforce AI Research（Salesforce AI研究院） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments 9 pages

Lean4Physics: Comprehensive Reasoning Framework for College-level Physics in Lean4

Yuxin Li, Minghao Liu, Ruida Wang, Wenzhao Ji, Zhitao He, Rui Pan, Junming Huang, Tong Zhang, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港科技大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Princeton University（普林斯顿大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

What Makes a Good Curriculum? Disentangling the Effects of Data Ordering on LLM Mathematical Reasoning

Yaning Jia, Chunhui Zhang, Xingjian Diao, Xiangchi Yuan, Zhongyu Ouyang, Chiyu Ma, Soroush Vosoughi

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Comments 8 pages (main text) + 4 pages (appendix), 4 figures

The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning

Xinyu Zhu, Mengzhou Xia, Zhepei Wei, Wei-Lin Chen, Danqi Chen, Yu Meng

机构 * Computer Science Department, University of Virginia（弗吉尼亚大学计算机科学系） ； Princeton Language and Intelligence (PLI), Princeton University（普林斯顿大学语言与智能研究所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

Comments Accepted to NeurIPS 2025

Code-enabled language models can outperform reasoning models on diverse tasks

Cedegao E. Zhang, Cédric Colas, Gabriel Poesia, Joshua B. Tenenbaum, Jacob Andreas

机构 * MIT（麻省理工学院） ； Inria（法国国家科研机构） ； Harvard University（哈佛大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Cog-Rethinker: Hierarchical Metacognitive Reinforcement Learning for LLM Reasoning

Zexu Sun, Yongcheng Zeng, Erxue Min, Heyang Gao, Bokai Ji, Xu Chen

机构 * Baidu Inc.（百度公司） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Comments 22 Pages, 8 figures, 4 tables

Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning

Awni Altabaa, Siyu Chen, John Lafferty, Zhuoran Yang

机构 * Department of Statistics & Data Science, Yale University（统计与数据科学系，耶鲁大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Investigating the interaction of linguistic and mathematical reasoning in language models using multilingual number puzzles

Antara Raaghavi Bhattacharya, Isabel Papadimitriou, Kathryn Davidson, David Alvarez-Melis

机构 * School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院） ； Department of Linguistics, Harvard University（哈佛大学语言学系） ； Kempner Institute for the Study of Natural and Artificial Intelligence at Harvard University（哈佛大学凯普纳自然与人工智能研究 institute） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted to EMNLP 2025 Main Conference

Reinforcement Learning for Out-of-Distribution Reasoning in LLMs: An Empirical Study on Diagnosis-Related Group Coding

Hanyin Wang, Zhenbang Wu, Gururaj Kolar, Hariprasad Korsapati, Brian Bartlett, Bryan Hull, Jimeng Sun

机构 * School of Computing and Data Science, UIUC（计算与数据科学学院，UIUC） ； Mayo Clinic Health System（梅奥诊所健康系统） ； Mayo Clinic Rochester（梅奥诊所罗切斯特分部） ； Mayo Clinic Phoenix（梅奥诊所凤凰城分部） ； Carle Illinois College of Medicine, UIUC（Carle伊利诺伊医学院，UIUC） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Accurate and Diverse LLM Mathematical Reasoning via Automated PRM-Guided GFlowNets

Adam Younsi, Ahmed Attia, Abdalgader Abubaker, Mohamed El Amine Seddik, Hakim Hacid, Salem Lahlou

机构 * Technology Innovation Institute（技术创新研究所） ； Mohamed Bin Zayed University of Artificial Intelligence（莫罕默德·本·扎耶德人工智能大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

Active Confusion Expression in Large Language Models: Leveraging World Models toward Better Social Reasoning

Jialu Du, Guiyang Hou, Yihui Fu, Chen Wu, Wenqi Zhang, Yongliang Shen, Weiming Lu

机构 * Zhejiang University（浙江大学） ； Northwest University（西北大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments 15 pages, 10 figures

AdaReasoner: Adaptive Reasoning Enables More Flexible Thinking in Large Language Models

Xiangqi Wang, Yue Huang, Yanbo Wang, Xiaonan Luo, Kehan Guo, Yujun Zhou, Xiangliang Zhang

机构 * University of Notre Dame（诺丁汉大学） ； MBZUAI（穆桑人工智能研究所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Learning When to Think: Shaping Adaptive Reasoning in R1-Style Models via Multi-Stage RL

Songjun Tu, Jiahao Lin, Qichao Zhang, Xiangyu Tian, Linjing Li, Xiangyuan Lan, Dongbin Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Journal ref NeurIPS 2025

Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs

Xueyan Li, Guinan Su, Mrinmaya Sachan, Jonas Geiping

机构 * ETH Zurich（苏黎世联邦理工学院） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models

Phuc Minh Nguyen, Chinh D. La, Duy M. H. Nguyen, Nitesh V. Chawla, Binh T. Nguyen, Khoa D. Doan

机构 * College of Engineering and Computer Science, VinUniversity（Vin大学工程与计算机科学学院） ； Center for Environmental Intelligence, VinUniversity（Vin大学环境智能中心） ； University of Stuttgart（斯图加特大学） ； University of Notre Dame（诺特难大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Max Planck Research School for Intelligent Systems (IMPRS-IS)（马克斯·普朗克智能系统研究学校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments 23 pages, 15 figures

Attention as a Compass: Efficient Exploration for Process-Supervised RL in Reasoning Models

Runze Liu, Jiakang Wang, Yuling Shi, Zhihui Xie, Chenxin An, Kaiyan Zhang, Jian Zhao, Xiaodong Gu, Lei Lin, Wenping Hu, Xiu Li, Fuzheng Zhang, Guorui Zhou, Kun Gai

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） ； Shanghai Jiao Tong University（上海交通大学） ； The University of Hong Kong（香港大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

Date Fragments: A Hidden Bottleneck of Tokenization for Temporal Reasoning

Gagan Bhatia, Maxime Peyrard, Wei Zhao

机构 * University of Aberdeen（阿伯丁大学） ； Université Grenoble Alpes & CNRS（格勒诺布尔阿尔卑斯大学及CNRS） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI