大模型推理能力

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

强化学习中的奖励粒度：比较用于小语言模型数学推理的过程奖励和结果奖励结构

Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

机构 * New York University（纽约大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 研究在小语言模型中通过强化学习提升数学推理能力，系统比较五种奖励条件，发现过程奖励能显著提高准确率和推理痕迹保真度，奖励粒度是重要设计决策。

Comments 8 pages, 4 figures

ISM:Self-Improving Strategy Memory for Continual Mathematical Reasoning

ISM：面向持续数学推理的自我改进策略记忆

Prakhar Dixit, Tim Oates

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出智能模式记忆（ISM），一种自我演进的记忆增强系统，通过从成功和失败案例中学习并维护策略模式库，在不更新模型参数的情况下提升冻结LLM在持续学习中的数学推理能力。

Comments 3rd AI for Math Workshop at ICML 2026 Forty-Third International Conference on Machine Learning

The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans

谜语谜题：测试大型语言模型和人类的灵活推理

Bella Fascendini, Kathryn McGregor, Max D. Gupta, Thomas L. Griffiths

机构 * Department of Psychology, Princeton University（普林斯顿大学心理学系） ； Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 通过谜语谜题范式，发现LLM在真实谜语上准确率高（84.9%），但在谜语谜题上表现差（50.7%），而人类相反；错误分析表明LLM更倾向于过度使用创造性推理。

Reasoning Quality Emerges Early: Data Curation for Reasoning Models

推理质量早期涌现：推理模型的数据策展

Hongyi Henry Jin, Wenhan Yang, Meysam Ghaffari, Carlos Morato, Baharan Mirzasoleiman

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出仅利用初始推理token即可识别多样且具挑战性的推理样本，通过扰动检查点评估前100个token的损失检测难题，并证明前1k token的损失模式可预测梯度相似性，在Qwen2.5-7B和Llama3.1-8B上验证，性能提升达1.7%，token效率提升91%。

Comments Accepted by ICML 2026 (Poster)

Reasoning as Attractor Dynamics: Latent Memory Retrieval via Gibbs-Weighted Energy Minimization

推理作为吸引子动力学：通过吉布斯加权能量最小化的潜在记忆检索

Kanishk Awadhiya

机构 * Independent Researcher（独立研究者） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出将大语言模型视为高维稠密联想记忆，通过吉布斯加权能量最小化从潜在吸引子中检索正确推理链，在GSM8K上提升Phi-3.5性能5.38%。

Comments Accepted at ICLR Workshop 2026

ReM-MoA: Reasoning Memory Sustains Mixture-of-Agents Scaling

ReM-MoA：推理记忆维持混合代理的扩展

Heng Ping, Arijit Bhattacharjee, Peiyu Zhang, Shixuan Li, Wei Yang, Ali Jannesari, Nesreen Ahmed, Paul Bogdan

机构 * University of Southern California（南加州大学） ； Iowa State University（爱荷华州立大学） ； Cisco AI Research（思科人工智能研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出ReM-MoA框架，通过排名推理记忆和策展多样化记忆路由机制，解决混合代理架构随深度增加性能退化问题，在多个推理基准上持续优于现有方法。

Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning

超越轨迹模仿：策略引导的策略优化用于大语言模型推理

Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院） ； Meituan, Inc., China（美团） ； Shenzhen Loop Area Institute, China（深圳环区研究所） ； Meta AI, USA（Meta AI） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出策略引导的策略优化（SGPO），通过可重用策略蒸馏替代实例级轨迹模仿，利用前向KL散度和自适应加权提升LLM推理泛化能力，在数学基准上平均提升2.2分。

What are Key Factors for Updates in RL for LLM Reasoning?

RL提升LLM推理能力的关键更新因素是什么？

Peidong Wang, Demi Wang, Xufang Luo, Jiahang Xu, Xiaocui Yang, Shi Feng, Yuqing Yang, Dongsheng Li

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； Microsoft Research（微软研究院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 通过理论分析RLVR更新，发现离策略程度影响重要性采样比率分布和裁剪行为，提出自适应裁剪策略优化（ACPO），在多种推理基准上优于DAPO和CISPO。

Seeing Before Reasoning: Decoupling Perception and Reasoning for Shortcut-Resilient Multimodal On-Policy Self-Distillation

先看后思：解耦感知与推理以实现抗捷径的多模态在策略自蒸馏

Sihan Wang, Xiyao Liu, Lianqing Liu, Zhi Han

机构 * State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人与智能系统国家重点实验室，沈阳自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出ViGOS框架，通过解耦感知和推理，在MLLM后训练中避免文本捷径，提升图像依赖行为。

Comments 29 pages, 5 figures, 8 tables; Project page: https://oedosoldier.github.io/ViGOS/

Beyond Entropy: Learning from Token-Level Distributional Deviations for LLM Reasoning

超越熵：从令牌级分布偏差中学习以增强LLM推理

Xuanzhi Feng, Zhengyang Li, Zeyu Liu, Haoxi Li, Yuming Jiang, Bing Guo, Jingcai Guo, Jie Zhang, Song Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Sichuan University（四川大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 针对RLVR中令牌更新导致的熵塌陷或爆炸问题，提出ICT框架，利用JS散度识别关键令牌，通过选择性更新平衡策略集中度，提升推理性能。

The Quality-Utility Paradox: Why High-Reward Data Impairs Small Model Mathematical Reasoning

质量-效用悖论：为什么高奖励数据会损害小模型的数学推理

Haolong Qian, Xianliang Yang, Yinuo ma, Lirong Che, Feng Lu, Ye Guo, Lei Song, Jiang Bian, Chun Yuan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 发现数学推理蒸馏中的质量-效用悖论：Oracle精炼的高奖励数据因分布漂移增加适应成本，反而不如SLM自生成数据；提出风格对齐精炼方法恢复效用。

Comments Accepted at ICML 2026

Adaptive Nucleus Truncation for Long-Form Reasoning

自适应核截断用于长形式推理

Ousmane Amadou Dia

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出自适应核截断采样（ANTS），通过熵条件控制器动态调整截断宽度，在长文本生成中提升推理性能，在33B参数稀疏MoE模型上平均提升1.9-5.2分。

Multi-Turn Reasoning When Context Arrives in Pieces: Scalable Sharding and Memory-Augmented RL

当上下文分片到达时的多轮推理：可扩展的分片与记忆增强强化学习

Shu Tong Luo, Wenqin Liu, Rui Liu, Mingming Gong, Jiaxian Guo

机构 * The University of Melbourne（墨尔本大学） ； Google Research Australia（谷歌澳大利亚研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 针对多轮对话中信息碎片化导致LLM准确率下降65%的问题，提出通过训练模型维护紧凑滚动记忆而非增长历史来缓解，并引入低成本分片流水线将单轮QA转换为多轮碎片化情节，训练的记忆增强策略显著提升多轮准确率并零样本泛化到更难任务。

ARMOR-MAD: Adaptive Routing for Heterogeneous Multi-Agent Debate in Large Language Model Reasoning

ARMOR-MAD：大语言模型推理中异构多智能体辩论的自适应路由

Fuqiang Niu, Bowen Zhang

机构 * School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院） ； School of Artificial Intelligence, Shenzhen Technology University（深圳技术大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出ARMOR-MAD框架，通过辩论前协议路由、早期一致停止评估和语义异常检测，自适应控制异构多智能体辩论，提升推理准确性和效率。

A Mathematical Forum Platform for Collaborative Problem Solving and Dataset Generation for AI Reasoning

面向协作问题求解与AI推理数据集生成的数学论坛平台

Akbar Erkinov, Nurmukhammad Abdurasulov

机构 * Independent Researchers, San Francisco, CA, USA（独立研究者，美国加利福尼亚州旧金山） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出一个集成图像到LaTeX转换管线的论坛系统，消除数学内容分享的摩擦，支持桌面和移动端，并生成社区验证的数学问题数据集以训练AI推理。

Comments 11 pages, 3 figures

Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

推理还是记忆？LLM强化学习中的方向感知多样性探索

Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

机构 * University of Georgia（佐治亚大学） ； Tencent AI Lab（腾讯AI实验室） ； The Education University of Hong Kong（香港教育大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出DiRL框架，通过方向感知奖励区分推理与记忆驱动的探索，在GRPO中集成方向加权梯度特征，显著提升数学与通用推理性能。

Comments 12 pages, 6 figures

Diverse Thinking Schemata Elicit Better Reasoning in Large Language Models

多样思维图式激发大型语言模型更优推理

Xinyue Liang, Yizhe Yang, Yu Bai, Bin Xu, Jiawei Li, Yang Gao

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出多样图式策略优化（DiScO），通过增强推理步骤转换和答案候选的多样性，提升大型语言模型在数学推理任务中的表现和错误恢复能力。

PAEC: Position-Aware Entropy Calibration for LLM Reasoning in RLVR

PAEC：面向RLVR中LLM推理的位置感知熵校准

Shumeng Yang, Yisu Liu, Jiayi Zheng, Zhaohui Yang, Linjing Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出位置感知熵校准（PAEC），通过局部top-p熵和top-2候选竞争构建软掩码，并施加基于锚点的下界惩罚，防止决策相关位置熵崩溃，提升数学推理性能。

Comments 22 pages, 7 figures

From Correctness to Utility: Gain-Based Prefix Evaluation for LLM Reasoning

从正确性到效用：基于增益的LLM推理前缀评估

Yuhang Zhou, Yixin Cao, Guangnan Ye

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出前缀增益概念，训练前缀效用模型（PUM）通过成对排序目标评估推理前缀对成功率的提升，在数学推理任务中优于传统正确性评估。

When to Think Deeply: Inhibitory Deliberation for LLM Reasoning

何时深度思考：用于LLM推理的抑制性深思

Zhixuan He, Yue Feng

机构 * University of Birmingham, United Kingdom（英国伯明翰大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出IDPR框架，通过抑制控制器根据快速答案决定是否启动慢速推理，在数学推理测试集上仅调用8.20%的慢速推理，准确率从47.90%提升至48.92%。

Reinforcement Learning with Verifiable Physics: Post-training LLMs with Continuous Rewards

具有可验证物理的强化学习：具有连续奖励的训练后语言模型

Pengfei Cai, Utkarsh Utkarsh, Alan Edelman, Christopher Vincent Rackauckas, Rafael Gomez-Bombarelli

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对偏微分方程求解器代码生成，引入RLVP强化学习训练后框架，通过混合验证器解决可验证性问题，在多PDE族训练单个策略，优于基线且有零样本改进转移，训练后小LLM表现良好，策略有组合性证据。

BRUCE: Benchmarking Robustness Under Corruption Escalation for Scientific Vision-Language Reasoning

BRUCE：面向科学视觉-语言推理的污染升级下鲁棒性基准测试

Saim Rehman, Muhammad Shafique

机构 * New York University Abu Dhabi（纽约大学阿布扎比分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)

AI总结 该研究提出BRUCE基准测试框架，通过RCI与T-RCI指标分析VLMs在科学视觉-语言推理任务中随污染升级的鲁棒性退化，实现可解释的失败分析。

From Answer Generators to Reasoning Facilitators: Designing AI Tutors for Mathematical Reasoning in High-Stakes Environments

从答案生成器到推理促进者：为高风险环境中的数学推理设计AI导师

Yuming Feng, Yuan Tian, Erica Zhao

专题命中 数学推理 ：reasoning(title,abstract)

AI总结 本研究设计并部署了AITutor系统，通过分层工作示例、步骤链接视觉基础和元认知支架等功能，帮助初中生在高压考试中从被动获取答案转向主动修复推理过程，提出了以推理为中心的产品循环。

Physics-guided discovery of dynamical dark-energy equations of state through iterative AI reasoning

通过迭代AI推理发现动力学暗能量状态方程的物理引导

Clecio R. Bom, Bernardo M. Fraga, Miguel A. Sabogal, Armando Bernui, Phelipe Darc, Gustavo Schwarz

专题命中 数学推理 ：reasoning(title,abstract)

AI总结 提出迭代AI推理框架，利用大语言模型生成并优化暗能量状态方程，结合文献检索和自动评估，发现两种新参数化形式，在超新星、重子声学振荡和Planck数据上优于传统模型。

Comments 6 figures, 45 pages, submitted. Code: https://iadev.cbpf.br/labia/cosmoai

TCPO: Turn-Level Credit Policy Optimization

TCPO：回合级信用策略优化

Sicong Liao, Zhi Chen, Yaohua Tang

机构 * Moore Threads AI（摩尔线程人工智能） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 该研究针对验证器引导多回合强化学习的信用分配问题，提出TCPO方法，在多类任务和模型上提升了LLM的多回合推理与智能体性能。

Kalman Meets Curriculum: Efficient Dynamic Prompt Selection for Adaptive RL Finetuning

卡尔曼与课程学习结合：面向自适应RL微调的高效动态提示选择

Haodong Zhu, Yangyang Ren, Yanjing Li, Sheng Xu, Haiguang Liu, Linlin Yang, Baochang Zhang

机构 * Beihang University（北京航空航天大学） ； Zhongguancun Academy（中关村学院） ； Nanyang Technological University（南洋理工大学） ； Communication University of China（中国传媒大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；planning(abstract)；分类 cs.LG

AI总结 本文提出KGPS方法，将提示选择转化为动态状态估计问题，适配RL训练动态，在多推理基准和RL算法上较基线提升准确率与rollout效率，在在线提示选择中达最优。

Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata

通过有限自动机上的高效推理实现扩散语言模型的约束解码

Meihua Dang, Stefano Ermon

机构 * Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；planning(abstract)；分类 cs.LG

AI总结 研究扩散语言模型的约束解码问题，提出基于有限自动机高效推理的算法，能保证约束满足，支持多种解码方式，经实验验证在多种任务上提升准确率且推理开销小。

Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing

通过局部分支路由实现高效且可训练的语言模型测试时扩展

Yutong Yin, Mingyu Jin, Jin Pan, Changyi Yang, Zijie Xia, Dhruv Pai, Shuming Hu, Zhen Zhang, Chenyang Zhao, Jinman Zhao, Wujiang Xu, Raymond Li, Xin Eric Wang, Julian McAuley, Zhaoran Wang

机构 * Northwestern University（西北大学） ； Rutgers University（罗格斯大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Carnegie Mellon University（卡内基梅隆大学） ； LMSYS Org（LMSYS组织） ； Tilde Research（Tilde研究） ； University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of Toronto（多伦多大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；planning(abstract)；分类 cs.CL

AI总结 提出局部分支路由（LBR）框架，通过轻量级路由器选择局部前瞻树中的深度-1子路径，实现令牌级测试时扩展，在数学推理基准上优于链式思维和软令牌分支基线。

ExpRL: Exploratory RL for LLM Mid-Training

ExpRL: 用于LLM中期训练的探索性强化学习

Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） ； OpenAI ； Rogo 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；self-correction(abstract)；分类 cs.LG

AI总结 提出ExpRL方法，利用人类编写的问答数据作为奖励支架，通过密集奖励强化推理过程中的部分进展和有用行为，在数学推理任务上优于SFT、稀疏奖励GRPO和自蒸馏，并为后续稀疏奖励RL提供更好的初始化。

No Universal Signal Predicts Sample-Level LLM Regression under Version Updates

没有通用信号可预测版本更新下的样本级大语言模型退化

Jia Sheng, Yiwei Lu

机构 * University of Ottawa（渥太华大学） ； Vector Institute（向量研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究如何用推理时信号预测LLM版本更新导致的样本级退化，对比单模型与跨版本信号，发现信号有效性具任务依赖性且无通用最优信号，部分跨版本信号可支持选择性回退，从业者可据此选择信号。