大模型推理能力

Correct Is Not Enough: Training Reasoning Planners with Executor-Grounded Rewards

正确性不足：通过执行器导向的奖励训练推理计划器

Tianyang Han, Hengyu Shi, Junjie Hu, Xu Yang, Zhiling Wang, Junhao Su

机构 * D 4 Lab（D4实验室） ； Independent Researcher（独立研究者） 纠错

专题命中 数学推理 ：reasoning(title,summary_cn)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TraceLift框架，通过执行器导向的奖励提升推理质量，利用rubric-based Reasoning Reward Model评估推理轨迹的可靠性与有效性。

Comments 36 pages

Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning

为什么将残差流限制在层而不是令牌？用于连续潜在推理的持久记忆

Mujtaba Farhan, Maheep Chaudhary

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；planning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对CoCoNuT在潜在空间推理中因中间隐藏状态被覆盖导致概念瓶颈的问题，提出AGCLR模型，通过门控概念流持久记忆机制，在GSM8K、HotpotQA和ProsQA上取得一致提升。

Optical Reasoning: Rethinking Images as an Expressive Reasoning Medium Beyond Text

光学推理：重新思考图像作为超越文本的表达性推理媒介

Yutong Bian, Dongjie Cheng, Heming Xia, Yongqi Li, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出光学推理概念，将图像作为独立推理媒介，通过排版和图形两种变体实现，在语言和多模态任务中匹配或超越文本推理，同时减少推理令牌。

Capacity, Not Format: Rethinking Structured Reasoning Failures

容量而非格式：重新思考结构化推理失败

Hengxin Fan

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究发现结构化格式对模型性能的影响取决于其空闲容量，容量不足时通过截断和纯容量竞争两种机制导致性能下降，建议先思考后格式化。

Comments 12 pages, 3 figures

ReTreVal: Reasoning Tree with Validation and Cross-Problem Memory for Large Language Models

ReTreVal：带有验证和跨问题记忆的推理树

Abhishek HS, Pavan C Shekar, Arpit Jain, Ashwanth Krishnan

机构 * QpiAI 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 ReTreVal通过自适应树探索、带工具增强的节点细化、类型化失败回溯和自修改记忆，使大语言模型在无需微调的情况下实现跨问题学习，其在MATH-500上达到85.8%的pass@1准确率，在MMLU-Pro上达到54.4%的准确率。

Comments 15 pages, 1 figure, 12 tables

Thinking-Based Non-Thinking: Solving the Reward Hacking Problem in Training Hybrid Reasoning Models via Reinforcement Learning

基于思考的非思考：通过强化学习解决混合推理模型训练中的奖励黑客问题

Siyuan Gan, Jiaheng Liu, Boyan Wang, Tianpei Yang, Runqing Miao, Yuyao Zhang, Fanyu Meng, Junlan Feng, Linjian Meng, Jing Huo, Yang Gao

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室） ； Jiutian Research, Beijing, China（九天研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.AI

AI总结 针对混合推理模型训练中的奖励黑客问题，提出Thinking-Based Non-Thinking方法，利用思考型回答的解决方案信息为非思考型回答设置差异化最大令牌数，在数学基准上减少约50%令牌使用并提升准确率。

Train at Moving Edge: Online-Verified Prompt Selection for Efficient RL Training of Large Reasoning Model

在移动边缘训练：一种在线验证的提示选择方法用于大型推理模型的高效强化学习训练

Jiahao Wu, Ning Lu, Shengcai Liu, Kun Wang, Yanting Yang, Bailong Lin, Chen Jason Zhang, Li Qing, Ke Tang

机构 * Southern University of Science and Technology（南方科技大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology（香港科学理工大学） ； Nanyang Technological University（南洋理工大学） ； Rutgers University（罗格斯大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学理工大学（广州）） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出HIVE方法，通过历史奖励轨迹和实时提示熵实现高效RL训练，提升提示选择效率而不牺牲性能。

DyCon: Dynamic Reasoning Control via Evolving Difficulty Modeling

DyCon: 通过演化难度建模的动态推理控制

Tengyao Tu, Yulin Li, Hui-Ling Zhen, Libo Qin, Zhoujun Wei, Jinghua Piao, Zhuotao Tian, Yong Li, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Zhongguancun Academy（中关村学院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Shenzhen Loop Area Institute（深圳河套学院） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.AI

AI总结 提出DyCon框架，利用步骤级嵌入动态建模推理过程中的难度演化，无需训练即可控制推理深度，减少冗余步骤，提升效率且不损失准确性。

Comments Accepted at ICML 2026

Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short

推理竞技场：当可验证奖励不足时的轨迹锦标赛

Han Zhou, Adam X. Yang, Laurence Aitchison, Anna Korhonen, Albert Q. Jiang

机构 * University of Cambridge（剑桥大学） ； Mistral AI 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出推理竞技场框架，通过轨迹锦标赛将无梯度信号的非多样奖励组转化为相对奖励信号，结合Bradley-Terry模型高效整合强化学习，在数学和编码基准上平均提升7.6%，加速训练27%-41%。

Comments 9 pages, 6 figures, 2 tables (17 pages including references and appendices)

Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization

推理的动量：策略优化中的密集内在信号

Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Eastern Institute of Technology（东方理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对GRPO在长链推理中因二元奖励导致的零优势崩溃和幻觉确定性失败模式，提出ISPO方法，通过内在信号密集化奖励，在三个基模型和五个数学推理基准上持续优于基线。

Comments 14 pages, 6 figures, 8 tables

Diverse Thinking Schemata Elicit Better Reasoning in Large Language Models

多样思维图式激发大型语言模型更优推理

Xinyue Liang, Yizhe Yang, Yu Bai, Bin Xu, Jiawei Li, Yang Gao

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出多样图式策略优化（DiScO），通过增强推理步骤转换和答案候选的多样性，提升大型语言模型在数学推理任务中的表现和错误恢复能力。

PAEC: Position-Aware Entropy Calibration for LLM Reasoning in RLVR

PAEC：面向RLVR中LLM推理的位置感知熵校准

Shumeng Yang, Yisu Liu, Jiayi Zheng, Zhaohui Yang, Linjing Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出位置感知熵校准（PAEC），通过局部top-p熵和top-2候选竞争构建软掩码，并施加基于锚点的下界惩罚，防止决策相关位置熵崩溃，提升数学推理性能。

Comments 22 pages, 7 figures

CLPO: Curriculum Learning meets Policy Optimization for LLM Reasoning

CLPO：课程学习与策略优化相结合用于大语言模型推理

Shijie Zhang, Zheng Xiao, Shiyu Liu, Guohao Sun, Kevin Zhang, Xiang Guo, Rujun Guo, Shaoyu Liu, Wangxiao Zhao, Guanjun Jiang

机构 * Peking University（北京大学） ； Qwen Applications Business Group, Alibaba Group（通义实验室，阿里巴巴集团） ； Xiamen University（厦门大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出CLPO框架，通过在线策略准确率动态调整问题难度，使课程与策略共同进化，在数学和通用推理基准上显著优于GRPO和DAPO。

Prescriptive Scaling Reveals the Evolution of Language Model Capabilities

规范性缩放揭示语言模型能力的演变

Hanlin Zhang, Jikai Jin, Vasilis Syrgkanis, Sham Kakade

机构 * Harvard University（哈佛大学） ； Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过大规模观测评估和分位数回归，提出规范性缩放定律，将预训练计算预算映射到下游准确率，并验证其时间稳定性，引入平衡I-最优采样算法降低评估成本。

Comments ICML 2026 Oral. Blog Post: https://jkjin.com/prescriptive-scaling

SLMJury: Can Small Language Models Judge as Well as Large Ones?

SLMJury：小型语言模型能否像大型模型一样进行评判？

Anish Laddha, Nitesh Pradhan, Gaurav Srivastava

机构 * LNMIIT ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SLMJury框架，评估小型语言模型作为评判者的能力，发现领域依赖的过度思考效应、领域泛化差异、闭端与开端评判能力分离，以及多智能体辩论降低准确性。

Post-training is (Massive) Supervised Learning

后训练是（大规模）监督学习

Michael Hassid, Yossi Adi, Roy Schwartz

机构 * FAIR, Meta AI（Meta AI 基础人工智能研究团队） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文论证当前LLM后训练阶段（SFT+RL）实质是回归到BERT时代的“预训练-微调”范式，通过实验表明从零开始后训练的模型也能取得显著性能，并提出应转向“学会学习”的训练方式。

MMR-GRPO: Accelerating GRPO-Style Training through Diversity-Aware Reward Reweighting

MMR-GRPO：通过多样性感知奖励重加权加速GRPO风格训练

Kangda Wei, Ruihong Huang

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MMR-GRPO方法，利用最大边际相关性根据完成多样性重加权奖励，减少冗余样本，加速GRPO训练，在保持性能的同时平均减少47.9%训练步数和70.2%时间。

CATPO: Critique-Augmented Tree Policy Optimization

CATPO: 批评增强的树策略优化

Ayush Singh, Umang Goyal, Ankur Dahiya

机构 * Indian Institute of Technology Roorkee（印度理工学院罗尔基分校） ； Vision and Language Group（视觉与语言组） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出CATPO方法，通过树信息性评分和批评引导修复，解决树结构强化学习中低效树浪费计算的问题，在数学推理任务上提升准确率。

Comments 14 pages, 1 figures, 6 tables

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

更高效利用预算：使用重置与丢弃（ReD）方法在固定预算下提升大型语言模型的推理性能

Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

机构 * School of Chemistry, Tel Aviv University（特拉维夫大学化学系） ； The Center for Physics and Chemistry of Living Systems, Tel Aviv University（特拉维夫大学生命系统物理与化学中心） ； School of Physics and Astronomy, Tel Aviv University（特拉维夫大学物理与天文学系） ； The Center for Computational Molecular and Materials Science, Tel Aviv University（特拉维夫大学计算分子与材料科学中心） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对固定预算下大型语言模型推理的收益递减问题，提出重置与丢弃（ReD）查询方法，通过优化尝试分配提升覆盖率，并在编码、数学和推理基准上验证了其成本节约效果。

MixReasoning: Switching Modes to Think

MixReasoning: 切换模式以思考

Haiquan Lu, Gongfan Fang, Xinyin Ma, Qi Li, Xinchao Wang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出MixReasoning框架，动态调整推理深度，对困难步骤详细推理、简单步骤简洁推理，在GSM8K、MATH-500和AIME上缩短推理长度并提高效率，不牺牲准确性。

Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty Mechanisms Overshadow Sound Ones

干扰导致的失败：当有缺陷机制掩盖健全机制时，语言模型在平衡括号任务中出错

Daking Rai, Samuel Miller, Kevin Moran, Ziyu Yao

机构 * George Mason University（乔治·马歇尔大学） ； University of Central Florida（中央佛罗里达大学） ； Department of Computer Science（计算机科学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示语言模型在平衡括号任务中出错的原因：部分组件实现可靠机制，而其他组件引入噪声，当噪声机制主导时导致错误。提出RASteer方法，通过增强可靠组件贡献，将部分模型准确率从0%提升至近100%，并在算术推理任务中取得约20%的性能提升。

Comments 23 pages, 10 figures, accepted for NeurIPS 2025

A Regret Minimization Framework on Preference Learning in Large Language Models

大语言模型中偏好学习的遗憾最小化框架

Suhwan Kim, Taehyun Cho, Geon-Hyeong Kim, Yu Jin Kim, Youngsoo Jang, Moontae Lee, Jungwoo Lee

机构 * KAIST（韩国科学技术院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出基于遗憾的偏好优化方法RePO，通过遗憾最小化而非奖励最大化来建模人类偏好，在数学推理和人类偏好数据集上取得一致性能提升。

AsyncLane: Decoupling Refinement from Advancement in Diffusion Language Model Decoding

AsyncLane: 扩散语言模型解码中精炼与推进的解耦

Yingxuan Ren, Yuxuan Lou, Yong Liu, Pengcheng Fang, Ziming Wang, Pengfei Zhou, Yang You

机构 * National University of Singapore（新加坡国立大学） ； University of Southampton（南安普顿大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出AsyncLane，一种无需训练的解码调度器，通过将生成过程分叉为精炼和推进两个通道，解耦块间依赖，在保持质量的同时显著提升扩散语言模型的解码吞吐量。

Towards Healthy Evolution: Exploring the Role and Mechanisms of Human-Agent Interaction in Self-Evolving Systems

走向健康进化：探索人机交互在自我进化系统中的作用与机制

Dianxing Shi, Bowen Wang, Junqi He, Junhao Chen, Yuta Nakashima

机构 * The University of Osaka（大阪大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出ANCHOR框架，通过模拟人类监督的反馈机制，在自我进化系统中缓解能力退化与安全漂移，实验表明有限监督可显著提升安全性与稳定性。

Operationalising the Superficial Alignment Hypothesis via Task Complexity

通过任务复杂度操作化浅层对齐假设

Tomás Vergara-Browne, Darshan Patil, Ivan Titov, Siva Reddy, Tiago Pimentel, Marius Mosbach

机构 * University of Maryland（马里兰大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； University of Toronto（多伦多大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 提出任务复杂度指标（达到目标性能的最短程序长度）来量化浅层对齐假设，实验表明预训练大幅降低任务复杂度，而微调可将复杂度降低数个数量级。

Comments ICML 2026

AlphaOPT: Formulating Optimization Programs with Self-Improving LLM Experience Library

AlphaOPT: 利用自改进LLM经验库构建优化问题

Minwei Kong, Ao Qu, Xiaotong Guo, Wenbin Ouyang, Chonghe Jiang, Han Zheng, Yining Ma, Dingyi Zhuang, Yuhan Tang, Junyi Li, Shenhao Wang, Haris Koutsopoulos, Hai Wang, Cathy Wu, Jinhua Zhao

机构 * Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Florida（佛罗里达大学） ； Northeastern University（东北大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AlphaOPT，一种自改进经验库，使LLM能从有限监督中学习优化建模知识，通过库学习和库演化两阶段循环，逐步提升性能，在多个基准上超越基线方法。

Weak-Driven Learning: How Weak Agents make Strong Agents Stronger

弱驱动学习：弱智能体如何使强智能体更强

Zehao Chen, Gongxun Li, Tianxiang Ai, Zixuan Huang, Xiaodong Liu, Yifei Li, Wang Zhou, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban

机构 * Beihang University（北航） ； China Telecom eSurfing Cloud（中国电信eSurfing云） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 针对大语言模型后训练中的饱和瓶颈，提出WMSS方法，利用模型历史弱检查点通过熵动力学识别可恢复学习差距并进行补偿学习，在数学推理和代码生成任务上实现有效性能提升且无额外推理成本。