大模型推理能力

Why Pure Reasoning is Not Enough: Nature as the Source of Mathematical Innovation

为何纯推理不足：自然作为数学创新之源

Charanjit S. Jutla, Vimal Sharma

机构 * IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 研究认为人类数学推理受逻辑片段不可判定性和计算难题限制，依赖自然世界的模式匹配。通过追溯傅里叶变换等数学史及逻辑复杂性，表明物理启发的模式匹配是认知必要，为人工智能中语言模型规模大提供依据。

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

强化学习中的奖励粒度：比较用于小语言模型数学推理的过程奖励和结果奖励结构

Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

机构 * New York University（纽约大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 研究在小语言模型中通过强化学习提升数学推理能力，系统比较五种奖励条件，发现过程奖励能显著提高准确率和推理痕迹保真度，奖励粒度是重要设计决策。

Comments 8 pages, 4 figures

ISM:Self-Improving Strategy Memory for Continual Mathematical Reasoning

ISM：面向持续数学推理的自我改进策略记忆

Prakhar Dixit, Tim Oates

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出智能模式记忆（ISM），一种自我演进的记忆增强系统，通过从成功和失败案例中学习并维护策略模式库，在不更新模型参数的情况下提升冻结LLM在持续学习中的数学推理能力。

Comments 3rd AI for Math Workshop at ICML 2026 Forty-Third International Conference on Machine Learning

GryphOne: Symbol-Aware Masked Diffusion for Structural Refinement in Offline Handwritten Mathematical Expression Recognition

GryphOne: 面向离线手写数学表达式识别中结构细化的符号感知掩码扩散

Takaya Kawakatsu, Ryo Ishiyama

机构 * Preferred Networks, Inc.（Preferred Networks公司） ； Kyushu University（九州大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出离散扩散框架GryphOne，将HMER重构为迭代符号细化而非序列生成，通过符号感知分词和随机掩码互学习提升鲁棒性，在MathWriting上达到5.51% CER和59.9% EM，超越所有重实现模型和商业系统。

Comments ECCV 2026

NeuReasoner: Theory-grounded Mapping of Reasoning Elicitation Boundaries

NeuReasoner: 理论驱动的推理激发边界映射

Aydin Javadov, Shyngys Aitkazinov, Tobias Hoesli, Florian von Wangenheim, Bjoern Schuller, Joseph Ollier

机构 * ETH Zürich（苏黎世联邦理工学院） ； Imperial College London（伦敦帝国理工学院） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出理论驱动的NeuReasoner框架，通过神经透镜与认知透镜结合，在无需外部工具下激发大模型推理能力，在数学、编码及认知任务上匹配或超越后训练思维模式，并发现风险决策等边界。

HippoSpark: An On-Demand Experience System for LLM Reasoning

HippoSpark: 一种用于LLM推理的按需经验系统

Jingyao Liu, Danling Meng, Chen Huang, Yukun Yan, Zhenghao Liu, Wenqiang Lei, See-Kiong Ng, Maosong Sun

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出HippoSpark状态级经验系统，在推理过程中按需检索局部瓶颈的精确指导，在数学、科学和编程基准上优于标准提示和任务级经验基线。

Multimodal Mathematical Reasoning with Diverse Solving Perspective

多模态数学推理与多样化的解题视角

Wenhao Shi, Zhiqiang Hu, Yi Bin, Guoqing Wang, Xing Xu, Yang Yang, See-Kiong Ng

机构 * Tongji University（同济大学） ； National University of Singapore（新加坡国立大学） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所） ； Tencent（腾讯） ； Center for Future Media, University of Electronic Science and Technology of China（电子科技大学未来媒体中心） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出MathV-DP数据集和Qwen-VL-DP模型，通过多样化解题视角提升多模态数学推理的准确性和生成多样性。

Comments 10 pages

The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans

谜语谜题：测试大型语言模型和人类的灵活推理

Bella Fascendini, Kathryn McGregor, Max D. Gupta, Thomas L. Griffiths

机构 * Department of Psychology, Princeton University（普林斯顿大学心理学系） ； Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 通过谜语谜题范式，发现LLM在真实谜语上准确率高（84.9%），但在谜语谜题上表现差（50.7%），而人类相反；错误分析表明LLM更倾向于过度使用创造性推理。

Reasoning Quality Emerges Early: Data Curation for Reasoning Models

推理质量早期涌现：推理模型的数据策展

Hongyi Henry Jin, Wenhan Yang, Meysam Ghaffari, Carlos Morato, Baharan Mirzasoleiman

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出仅利用初始推理token即可识别多样且具挑战性的推理样本，通过扰动检查点评估前100个token的损失检测难题，并证明前1k token的损失模式可预测梯度相似性，在Qwen2.5-7B和Llama3.1-8B上验证，性能提升达1.7%，token效率提升91%。

Comments Accepted by ICML 2026 (Poster)

Reasoning as Attractor Dynamics: Latent Memory Retrieval via Gibbs-Weighted Energy Minimization

推理作为吸引子动力学：通过吉布斯加权能量最小化的潜在记忆检索

Kanishk Awadhiya

机构 * Independent Researcher（独立研究者） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出将大语言模型视为高维稠密联想记忆，通过吉布斯加权能量最小化从潜在吸引子中检索正确推理链，在GSM8K上提升Phi-3.5性能5.38%。

Comments Accepted at ICLR Workshop 2026

ReM-MoA: Reasoning Memory Sustains Mixture-of-Agents Scaling

ReM-MoA：推理记忆维持混合代理的扩展

Heng Ping, Arijit Bhattacharjee, Peiyu Zhang, Shixuan Li, Wei Yang, Ali Jannesari, Nesreen Ahmed, Paul Bogdan

机构 * University of Southern California（南加州大学） ； Iowa State University（爱荷华州立大学） ； Cisco AI Research（思科人工智能研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出ReM-MoA框架，通过排名推理记忆和策展多样化记忆路由机制，解决混合代理架构随深度增加性能退化问题，在多个推理基准上持续优于现有方法。

Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning

超越轨迹模仿：策略引导的策略优化用于大语言模型推理

Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院） ； Meituan, Inc., China（美团） ； Shenzhen Loop Area Institute, China（深圳环区研究所） ； Meta AI, USA（Meta AI） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出策略引导的策略优化（SGPO），通过可重用策略蒸馏替代实例级轨迹模仿，利用前向KL散度和自适应加权提升LLM推理泛化能力，在数学基准上平均提升2.2分。

What are Key Factors for Updates in RL for LLM Reasoning?

RL提升LLM推理能力的关键更新因素是什么？

Peidong Wang, Demi Wang, Xufang Luo, Jiahang Xu, Xiaocui Yang, Shi Feng, Yuqing Yang, Dongsheng Li

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； Microsoft Research（微软研究院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 通过理论分析RLVR更新，发现离策略程度影响重要性采样比率分布和裁剪行为，提出自适应裁剪策略优化（ACPO），在多种推理基准上优于DAPO和CISPO。

Seeing Before Reasoning: Decoupling Perception and Reasoning for Shortcut-Resilient Multimodal On-Policy Self-Distillation

先看后思：解耦感知与推理以实现抗捷径的多模态在策略自蒸馏

Sihan Wang, Xiyao Liu, Lianqing Liu, Zhi Han

机构 * State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人与智能系统国家重点实验室，沈阳自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出ViGOS框架，通过解耦感知和推理，在MLLM后训练中避免文本捷径，提升图像依赖行为。

Comments 29 pages, 5 figures, 8 tables; Project page: https://oedosoldier.github.io/ViGOS/

Beyond Entropy: Learning from Token-Level Distributional Deviations for LLM Reasoning

超越熵：从令牌级分布偏差中学习以增强LLM推理

Xuanzhi Feng, Zhengyang Li, Zeyu Liu, Haoxi Li, Yuming Jiang, Bing Guo, Jingcai Guo, Jie Zhang, Song Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Sichuan University（四川大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 针对RLVR中令牌更新导致的熵塌陷或爆炸问题，提出ICT框架，利用JS散度识别关键令牌，通过选择性更新平衡策略集中度，提升推理性能。

The Quality-Utility Paradox: Why High-Reward Data Impairs Small Model Mathematical Reasoning

质量-效用悖论：为什么高奖励数据会损害小模型的数学推理

Haolong Qian, Xianliang Yang, Yinuo ma, Lirong Che, Feng Lu, Ye Guo, Lei Song, Jiang Bian, Chun Yuan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 发现数学推理蒸馏中的质量-效用悖论：Oracle精炼的高奖励数据因分布漂移增加适应成本，反而不如SLM自生成数据；提出风格对齐精炼方法恢复效用。

Comments Accepted at ICML 2026

Adaptive Nucleus Truncation for Long-Form Reasoning

自适应核截断用于长形式推理

Ousmane Amadou Dia

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出自适应核截断采样（ANTS），通过熵条件控制器动态调整截断宽度，在长文本生成中提升推理性能，在33B参数稀疏MoE模型上平均提升1.9-5.2分。

Multi-Turn Reasoning When Context Arrives in Pieces: Scalable Sharding and Memory-Augmented RL

当上下文分片到达时的多轮推理：可扩展的分片与记忆增强强化学习

Shu Tong Luo, Wenqin Liu, Rui Liu, Mingming Gong, Jiaxian Guo

机构 * The University of Melbourne（墨尔本大学） ； Google Research Australia（谷歌澳大利亚研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 针对多轮对话中信息碎片化导致LLM准确率下降65%的问题，提出通过训练模型维护紧凑滚动记忆而非增长历史来缓解，并引入低成本分片流水线将单轮QA转换为多轮碎片化情节，训练的记忆增强策略显著提升多轮准确率并零样本泛化到更难任务。

ARMOR-MAD: Adaptive Routing for Heterogeneous Multi-Agent Debate in Large Language Model Reasoning

ARMOR-MAD：大语言模型推理中异构多智能体辩论的自适应路由

Fuqiang Niu, Bowen Zhang

机构 * School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院） ； School of Artificial Intelligence, Shenzhen Technology University（深圳技术大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出ARMOR-MAD框架，通过辩论前协议路由、早期一致停止评估和语义异常检测，自适应控制异构多智能体辩论，提升推理准确性和效率。

A Mathematical Forum Platform for Collaborative Problem Solving and Dataset Generation for AI Reasoning

面向协作问题求解与AI推理数据集生成的数学论坛平台

Akbar Erkinov, Nurmukhammad Abdurasulov

机构 * Independent Researchers, San Francisco, CA, USA（独立研究者，美国加利福尼亚州旧金山） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出一个集成图像到LaTeX转换管线的论坛系统，消除数学内容分享的摩擦，支持桌面和移动端，并生成社区验证的数学问题数据集以训练AI推理。

Comments 11 pages, 3 figures

Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

推理还是记忆？LLM强化学习中的方向感知多样性探索

Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

机构 * University of Georgia（佐治亚大学） ； Tencent AI Lab（腾讯AI实验室） ； The Education University of Hong Kong（香港教育大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出DiRL框架，通过方向感知奖励区分推理与记忆驱动的探索，在GRPO中集成方向加权梯度特征，显著提升数学与通用推理性能。

Comments 12 pages, 6 figures

Diverse Thinking Schemata Elicit Better Reasoning in Large Language Models

多样思维图式激发大型语言模型更优推理

Xinyue Liang, Yizhe Yang, Yu Bai, Bin Xu, Jiawei Li, Yang Gao

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出多样图式策略优化（DiScO），通过增强推理步骤转换和答案候选的多样性，提升大型语言模型在数学推理任务中的表现和错误恢复能力。

PAEC: Position-Aware Entropy Calibration for LLM Reasoning in RLVR

PAEC：面向RLVR中LLM推理的位置感知熵校准

Shumeng Yang, Yisu Liu, Jiayi Zheng, Zhaohui Yang, Linjing Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出位置感知熵校准（PAEC），通过局部top-p熵和top-2候选竞争构建软掩码，并施加基于锚点的下界惩罚，防止决策相关位置熵崩溃，提升数学推理性能。

Comments 22 pages, 7 figures

CLPO: Curriculum Learning meets Policy Optimization for LLM Reasoning

CLPO：课程学习与策略优化相结合用于大语言模型推理

Shijie Zhang, Zheng Xiao, Shiyu Liu, Guohao Sun, Kevin Zhang, Xiang Guo, Rujun Guo, Shaoyu Liu, Wangxiao Zhao, Guanjun Jiang

机构 * Peking University（北京大学） ； Qwen Applications Business Group, Alibaba Group（通义实验室，阿里巴巴集团） ； Xiamen University（厦门大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出CLPO框架，通过在线策略准确率动态调整问题难度，使课程与策略共同进化，在数学和通用推理基准上显著优于GRPO和DAPO。

From Correctness to Utility: Gain-Based Prefix Evaluation for LLM Reasoning

从正确性到效用：基于增益的LLM推理前缀评估

Yuhang Zhou, Yixin Cao, Guangnan Ye

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出前缀增益概念，训练前缀效用模型（PUM）通过成对排序目标评估推理前缀对成功率的提升，在数学推理任务中优于传统正确性评估。

When to Think Deeply: Inhibitory Deliberation for LLM Reasoning

何时深度思考：用于LLM推理的抑制性深思

Zhixuan He, Yue Feng

机构 * University of Birmingham, United Kingdom（英国伯明翰大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出IDPR框架，通过抑制控制器根据快速答案决定是否启动慢速推理，在数学推理测试集上仅调用8.20%的慢速推理，准确率从47.90%提升至48.92%。

Closing the Loop on Latent Reasoning via Test-Time Reconstruction

通过测试时重建实现潜在推理的闭环

Xiaopeng Yuan, Haibo Jin, Ye Yu, Peng Kuang, Lijun Yu, Yushun Dong, Haohan Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google（谷歌） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出ReLAT方法，利用自监督测试时训练通过查询重建损失优化潜在状态，实现潜在推理的闭环，提升数学推理、知识问答和代码生成的性能。

Testing LLM Arithmetic Reasoning Generalization with Automatic Numeric-Remapping Attacks

测试大语言模型算术推理泛化能力：自动数值重映射攻击

Malia Barker, Bishal Lakha, Edoardo Serra, Francesco Gullo

机构 * Department of Computer Science, Boise State University（计算机科学系，博伊州立大学） ； University of L’Aquila（拉奎拉大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出自动数值重映射攻击算法，通过保持推理程序的小数值变化测试LLM算术推理鲁棒性，发现GSM8K上准确率下降12-26个百分点，而MAWPS和MultiArith更稳定。

Good Reasoning Makes Good Demonstrations: Implicit Reasoning Quality Supervision via In-Context Reinforcement Learning

好的推理产生好的示范：通过上下文强化学习进行隐式推理质量监督

Tiehua Mei, Minxuan Lv, Leiyu Pan, Zhenpeng Su, Hongru Hou, Hengrui Chen, Ao Xu, Deqing Yang

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出In-Context RLVR方法，利用策略模型自身的上下文学习能力衡量示范效用（Demonstration Utility），通过隐式奖励加权提升推理质量和准确性。

Comments Accepted at ACL 2026

Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning

正确即力量：对齐验证的隐藏状态增强强化学习推理

Ziyue Wang, Aomufei Yuan, Yongfu Zhu, Shuai Dong, Wenpu Liu, Yiran Yao, Weichu Xie, Yuqi Xu, Caoyuan Ma, Wenqi Shao, Xiaoying Zhang, Nan Duan, Jiaqi Wang

机构 * Peking University（北京大学） ； JINGDONG（京东） ； Shanghai Innovation Institute（上海创新研究院） ； The University of Tokyo（东京大学） ； Tianjin University（天津大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出Hidden-Align辅助损失函数，在强化学习训练中对齐正确rollout在锚点token处的最后一层隐藏状态，提升数学推理性能。

Comments 16 pages, 7 figures