大模型推理能力

CVPO: Enhancing LLM Reinforcement Learning Reasoning via Value-Variance Adaptation and Dynamic Curriculum Learning

CVPO：通过值方差自适应与动态课程学习增强大语言模型的强化学习推理能力

Ziqi Jia, Yalu Ouyang, Bo Pang, Panpan Li, Hangfei Xu, Shengzhao Wen, Shiyong Li, Yanpeng Wang

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对LLM强化学习推理中反馈精度不足与问题难度漂移问题，提出CVPO方法，通过值方差自适应与动态课程学习优化，在数学任务上性能优于VAPO等基线。

Simple Policy Gradients for Reasoning with Diffusion Language Models

为扩散语言模型进行推理的简单策略梯度

Anthony Zhan

机构 * Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出 AGRPO 算法，通过优化 dLLM 的去噪步骤提升推理性能，实现多个任务上的显著增益。

Comments 19 pages. ICML 2026

Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains

Relay-Bench：评估大语言模型在多领域推理链上的表现

Liam Swayne

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Relay-Bench是用于评估大语言模型在多领域推理链能力的基准测试，测试集含复合问题，涵盖多领域，模型使用无限制，鼓励利用工具，领先模型GPT-5.5（xHigh）得分43.3%，问题由两到十三个子问题组成，无需多模态输入输出。

Comments 21 pages, 7 figures

MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models

MADA-RL：用于紧凑模型中参数高效推理的多智能体辩论感知强化学习

Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Zifeng Ding, Volker Tresp, Yunpu Ma

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对紧凑模型训练成本高问题，提出MADA-RL框架，将其分为生成器和评论家角色，用辩论感知信号训练，通过LoRA微调少量参数。核心是反事实评论家优势，提高了模型准确率，在数学推理基准测试中有显著效果。

Comments 20 pages, 3 figures, 9 tables, 2 algorithms, under review at TMLR

Cost of Reasoning in non-English Languages: A Case Study on Japanese

非英语语言的推理成本：以日语为例

Yuu Jinnai

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究训练日语推理模型的可行性，开发Qwen - 3 - Swallow - 8B的日语推理变体并用GRPO训练，在多基准测试中发现推理语言控制可行，但性能与英语推理基线相当，在日本文化基准上表现不如基线模型。

MetaState: Persistent Working Memory Enhances Reasoning in Discrete Diffusion Language Models

MetaState: 持久工作记忆增强离散扩散语言模型的推理能力

Kejing Xia, Mingzhe Li, Lixuan Wei, Zhenbang Du, Xiangchi Yuan, Dachuan Shi, Qirui Jin, Wenke Lee

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Harvard University（哈佛大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MetaState通过引入轻量级循环增强模块，为冻结的离散扩散语言模型提供持久固定大小的工作记忆，提升推理性能，平均提升4.5%。

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

LaViDa-R1：推进统一多模态扩散语言模型的推理

Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

机构 * Adobe ； UCLA（加州大学洛杉矶分校） ； Georgia Tech（佐治亚理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)

AI总结 研究提出多模态通用推理dLLM LaViDa-R1，不同于现有工作，它以统一方式整合多任务，采用新颖统一训练后框架，集成监督微调与多任务强化学习，并运用多种训练技术，在多模态任务上展现强大性能。

Comments 28 pages, 11 figures

R$^2$PO: Decoupling Rollout and Inference Policies for LLM Reasoning

R$^2$PO：用于大语言模型推理的解耦展开与推理策略

Jingchu Wang, Bingbing Xu, Yige Yuan, Dan Zhang, Bin Xie, Xiaoqian Sun, Huawei Shen

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； National University of Singapore（新加坡国家大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究指出强化学习方法中训练轨迹与推理响应策略耦合的问题，提出R$^2$PO解耦二者，在训练时多样化展开，保持推理生成不变，实验表明其性能优于基线。

INFUSER: Influence-Guided Self-Evolution Improves Reasoning

INFUSER: 影响力引导的自我进化提升推理能力

Siyu Chen, Miao Lu, Beining Wu, Heejune Sheen, Fengzhuo Zhang, Shuangning Li, Zhiyuan Li, Jose Blanchet, Tianhao Wang, Zhuoran Yang

机构 * Yale University（耶鲁大学） ； Stanford University（斯坦福大学） ； University of Chicago（芝加哥大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； University of California, San Diego（圣地亚哥大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出INFUSER框架，通过生成器与求解器的协同进化，利用影响力分数和DuGRPO优化，从文档池中自适应生成训练数据，显著提升模型推理性能。

Comments 67 pages, 17 figures

In LLM Reasoning, there is Irrationality on top of Value Misalignment

在LLM推理中，价值对齐之上存在非理性

Kejiang Qian, Fengxiang He

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出理性价值风险概念，形式化LLM在推理中即使价值对齐也可能无法最大化对齐价值的问题，并通过实验验证该风险普遍存在且无法被对齐消除。

Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models

Think-at-Hard: 选择性潜在迭代以改进推理语言模型

Tianyu Fu, Yichen You, Zekai Chen, Guohao Dai, Huazhong Yang, Yu Wang

机构 * Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对循环变压器中潜在过思考问题，提出Think-at-Hard方法，通过轻量级决策器选择性地在困难令牌上触发潜在迭代，并采用深度感知LoRA和双因果注意力机制，在数学、问答和编码任务上一致提升性能。

Comments Accepted by ICML'26

Dual-Uncertainty Guided Policy Learning for Multimodal Reasoning

双不确定性引导的多模态推理策略学习

Rui Liu, Dian Yu, Tong Zheng, Runpeng Dai, Zongxia Li, Wenhao Yu, Zhenwen Liang, Linfeng Song, Haitao Mi, Pratap Tokekar, Dong Yu

机构 * Tencent Hunyuan（腾讯文汇） ； University of Maryland（马里兰大学） ； University of North Carolina（北卡罗来纳大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DUPL方法，通过量化感知不确定性和输出不确定性来引导策略更新，在多个多模态推理基准上显著提升模型准确率，优于现有方法。

MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes

MoReBench：评估语言模型中的程序性和多元道德推理，超越结果

Yu Ying Chiu, Michael S. Lee, Rachel Calcott, Brandon Handoko, Paul de Font-Reaulx, Raphaël Millière, Paula Rodriguez, Chen Bo Calvin Zhang, Ziwen Han, Udari Madhushani Sehwag, Yash Maurya, Christina Q Knight, Harry R. Lloyd, Florence Bacus, Conor Downey, Mantas Mazeika, Bing Liu, Yejin Choi, Mitchell L Gordon, Sydney Levine

机构 * University of Washington（华盛顿大学） ； New York University（纽约大学） ； Scale AI ； Harvard University（哈佛大学） ； University of Michigan（密歇根大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Center for AI Safety（人工智能安全中心） ； Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； University of Oxford（牛津大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MoReBench基准，包含1000个道德场景和超过2.3万条标准，用于评估语言模型在道德推理中的程序性推理能力，发现现有基准无法预测模型表现，且模型对特定道德框架存在偏好。

Comments 46 pages, 8 figures, 10 tables. Published in ICLR 2026. Accepted at CHAI workshop and SPP 2026 (non-archival)

Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short

推理竞技场：当可验证奖励不足时的轨迹锦标赛

Han Zhou, Adam X. Yang, Laurence Aitchison, Anna Korhonen, Albert Q. Jiang

机构 * University of Cambridge（剑桥大学） ； Mistral AI 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出推理竞技场框架，通过轨迹锦标赛将无梯度信号的非多样奖励组转化为相对奖励信号，结合Bradley-Terry模型高效整合强化学习，在数学和编码基准上平均提升7.6%，加速训练27%-41%。

Comments 9 pages, 6 figures, 2 tables (17 pages including references and appendices)

Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization

推理的动量：策略优化中的密集内在信号

Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Eastern Institute of Technology（东方理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对GRPO在长链推理中因二元奖励导致的零优势崩溃和幻觉确定性失败模式，提出ISPO方法，通过内在信号密集化奖励，在三个基模型和五个数学推理基准上持续优于基线。

Comments 14 pages, 6 figures, 8 tables

Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning

现成的大语言模型作为过程评分器：数学推理中PRM的无训练替代方案

Atoosa Chegini, Soheil Feizi

机构 * Department of Computer Science, University of Maryland（马里兰大学计算机科学系） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Chunk-Level Guided Generation方法，利用现成的大语言模型作为过程评分器，通过固定长度块评分和对比选择规则，无需训练即可在数学推理中匹配或超越PRM引导搜索的性能。

The Price Reversal Phenomenon: When Cheaper Reasoning Models Cost More

价格反转现象：当更便宜的推理模型成本更高时

Lingjiao Chen, Chi Zhang, Yeye He, Ion Stoica, Matei Zaharia, James Zou

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； CMU（卡内基梅隆大学） ； Microsoft Research（微软研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文首次系统研究推理模型标价与实际成本的偏差，发现32%的模型对比较中存在价格反转现象，并基于Shapley值建立成本归因框架，揭示思考令牌消耗和交互轮次的高度异质性是主要原因。

Reducing Credit Assignment Variance via Counterfactual Reasoning Paths

通过反事实推理路径减少信用分配方差

Fei Ding, Yongkang Zhang, Youwei Wang, Zijian Zeng

机构 * Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出反事实比较框架，通过采样多条推理轨迹并利用差异隐式估计过程级优势，将稀疏终端奖励转化为步骤敏感信号，从而改进大语言模型多步推理的信用分配，并引入隐式行为策略优化（IBPO）提升训练稳定性和性能上限。

From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning

从推理链到可验证子问题：课程强化学习使LLM推理能够进行信用分配

Xitai Jiang, Zihan Tang, Wenze Lin, Yang Yue, Shenzhi Wang, Gao Huang

机构 * LeapLab, Tsinghua University（清华大学 LeapLab） ； Qiuzhen College, Tsinghua University（清华大学 旗正学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出SCRL框架，通过从参考推理链中生成可验证子问题，解决LLM推理中信用分配问题，提升了在数学推理任务中的性能。

CoLD: Counterfactually-Guided Length Debiasing for Process Reward Models in Mathematical Reasoning

CoLD: 用于数学推理过程中奖励模型的反事实引导长度偏差消除

Congmin Zheng, Jiachen Zhu, Jianghao Lin, Xinyi Dai, Weiwen Liu, Haoxuan Li, Yong Yu, Weinan Zhang, Mengyue Yang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Peking University（北京大学） ； University of Bristol（布里斯托大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CoLD，一种通过反事实引导消除过程奖励模型中长度偏差的统一框架，旨在提高多步骤推理的准确性和简洁性，同时提升下游强化学习性能和跨领域泛化能力。

Schoenfeld's Anatomy of Mathematical Reasoning by Language Models

语言模型的数学推理解剖：Schoenfeld的推理结构

Ming Li, Chenrui Fan, Yize Cheng, Soheil Feizi, Tianyi Zhou

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过Schoenfeld的事件理论，提出ThinkARM框架，解剖语言模型的推理过程，揭示推理与非推理模型在结构上的差异，并通过案例研究展示探索步骤与正确性及效率方法的影响。

Comments ACL2026, camera-ready

PrAg-PO: Prompt Augmented Policy Optimization for Robust and Diverse Mathematical Reasoning

PrAg-PO：用于鲁棒且多样数学推理的提示增强策略优化

Wenquan Lu, Hai Huang, Enqi Liu, Randall Balestriero

机构 * Brown University（布朗大学） ； Palona AI ； Harvard University（哈佛大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出PrAg-PO，通过混合提示模板与特定格式奖励提升大语言模型的数学推理能力，增强鲁棒性和多样性，优于GRPO和DAPO。

Mathematical Reasoning via Intervention-Based Time-Series Causal Discovery Using LLMs as Concept Mastery Simulators

通过基于干预的时间序列因果发现进行数学推理：利用LLMs作为概念掌握模拟器

Tsuyoshi Okita

机构 * Kyushu Institute of Technology（九州工业技术大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CIKA框架，利用LLM自身作为干预模拟器，通过干预能力探针区分因果相关概念，提升数学推理能力。

Comments 17 pages, 0 figures

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

在LLM推理中，SFT-然后-RL优于混合策略方法

Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

机构 * ETH AI Center, ETH Zürich（苏黎世联邦理工学院人工智能中心） ； EPFL（瑞士联邦理工学院） ； Allen Institute for AI（人工智能研究所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文指出，混合策略方法的性能提升源于两个错误：DeepSpeed优化器在梯度累积中丢失中间微批次，以及OpenRLHF损失聚合错误加权。修正后，标准SFT-然后-RL流程在数学基准上超越了所有混合策略方法。

A Triadic Suffix Tokenization Scheme for Numerical Reasoning

三元后缀数字分词方案用于数值推理

Olga Chetverina

机构 * MIPT, Moscow, Russia（莫斯科米进大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Triadic Suffix Tokenization方案，通过三元分组和明确的量级标记，解决数字分词不一致问题，提升大语言模型在算术和科学推理中的稳定性与准确性。

Comments v3: Updated to include analysis of N=1 scalability for SLM architectures

GanitLLM: Difficulty-Aware Bengali Mathematical Reasoning through Curriculum-GRPO

GanitLLM：通过课程-GRPO实现难度感知的孟加拉数学推理

Shubhashis Roy Dipta, Khairul Mahbub, Nadia Najjar

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出GanitLLM模型及新的难度感知孟加拉数学语料库和基于课程的GRPO流程，提升低资源环境下孟加拉数学推理能力。

Comments Accepted at ACL 2026 (Findings)

LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning

揭开真相的面纱：秩减少后主权重的浮现使以推理为导向的监督微调得以提升

Zihang Liu, Tianyu Pang, Oleg Balabanov, Chaoqun Yang, Tianjin Huang, Lu Yin, Yaoqing Yang, Shiwei Liu

机构 * University of California, Berkeley, CA, USA（加州大学伯克利分校） ； International Computer Science Institute, CA, USA（国际计算机科学研究所） ； Lawrence Berkeley National Laboratory, CA, USA（伯克利国家实验室） ； Dartmouth College, NH, USA（达特茅斯学院） ； University of Exeter, Exeter, UK（埃克塞特大学） ； University of Oxford, Oxford, UK（牛津大学） ； University of Surrey, Guildford, UK（萨里大学） ； Tsinghua University, China（清华大学） ； Eindhoven University of Technology, the Netherlands（埃因霍温理工大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LIFT方法，通过秩减少后选取主权重进行微调，提升推理能力，同时保持内存效率，优于全微调和LoRA。

Comments ICML 2025

ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval

ZoomR：通过多粒度键值检索实现内存高效的推理

David H. Yang, Yuxuan Zhu, Mohammad Mohammadi Amiri, Keerthiram Murugesan, Tejaswini Pedapati, Subhajit Chaudhury, Pin-Yu Chen

机构 * Rensselaer Polytechnic Institute（罗切斯特理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ZoomR通过多粒度键值检索实现内存高效的推理，减少内存使用，适用于长输出生成任务。

Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning

生成对抗推理器：通过对抗性强化学习增强大语言模型推理

Qihao Liu, Luoxin Ye, Wufei Ma, Yu-Cheng Chou, Alan Yuille

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出生成对抗推理器，通过对抗性强化学习联合训练LLM推理器和判别器，提升推理质量与准确性。

Comments Camera-ready version

Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning

从简单到困难的任务课程强化学习提升大语言模型推理能力

Shubham Parashar, Shurui Gui, Xiner Li, Hongyi Ling, Sushil Vemuri, Blake Olson, Eric Li, Yu Zhang, James Caverlee, Dileep Kalathil, Shuiwang Ji

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出E2H Reasoner方法，通过从易到难的任务调度提升LLM推理能力，理论证明其收敛性并展示更少样本需求，实验显示在多个领域显著提升小型LLM的推理性能。