大模型推理能力

Mask-Aware Policy Gradients for Diffusion Language Models

用于扩散语言模型的掩码感知策略梯度

Haran Raajesh, Kulin Shah, Adam Klivans, Philipp Krähenbühl

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对强化学习扩展到MDLMs的难题，将MDLM生成形式化为两阶段动作MDP，使策略梯度分解为令牌项和掩码项，结合优化这两项在数学推理和编码基准测试中取得了最优成绩。

Comments Accepted at COLM 2026

Consensus as Privileged Context for Label-Free Self-Distillation

作为无标签自蒸馏特权上下文的共识

John Gkountouras, Josip Jukić, Ivan Titov

机构 * ILLC, University of Amsterdam（逻辑、语言与计算研究所，阿姆斯特丹大学） ； ILCC, University of Edinburgh（信息实验室，爱丁堡大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究旨在提高无标签大语言模型推理准确性，提出CANON方法将共识转化为token级监督，通过采样多个解决方案并以达到多数答案的方案为条件设置模型快照来监督。实验表明该方法大幅提升性能，还能迁移，改进非单纯分布锐化。

Autodata: An agentic data scientist to create high quality synthetic data

Autodata: 一种创建高质量合成数据的智能数据科学家方法

Ilia Kulikov, Chenxi Whitehouse, Tianhao Wu, Yixin Nie, Swarnadeep Saha, Eryk Helenowski, Weizhe Yuan, Olga Golovneva, Jack Lanchantin, Yoram Bachrach, Jakob Foerster, Xian Li, Han Fang, Sainbayar Sukhbaatar, Jason Weston

机构 * Meta 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Autodata方法，让AI代理充当数据科学家，通过元优化学习创建更优的训练和评估数据，在计算机科学、法律推理和数学推理任务上优于传统方法。

Query-Centric Optimization of AI Workflows via Approximate Query Processing and Proxy Models

基于近似查询处理和代理模型的AI工作流查询中心优化

Huayi Wang, Jun Xu, Gromit Yeuk-Yin Chan

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)

AI总结 提出将AI工作流视为声明式查询，利用近似查询处理（AQP）和代理模型（PM）过滤减少昂贵模型调用，在TPC-DS和LLM流水线上实现85-90%和60-70%的调用减少。

Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads

Logit贡献评分识别非字面检索头

Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

机构 * University of Edinburgh（爱丁堡大学） ； Heriot-Watt University（赫瑞瓦特大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Logit贡献评分（LOCOS），通过OV电路输出投影到答案标记方向，识别大语言模型中执行非字面检索的注意力头，消融实验显著降低ROUGE-L而保持其他能力。

Comments 41 pages, 18 figures

From Search to Synthesis: Training LLMs as Zero-Shot Workflow Generators

从搜索到合成：训练大语言模型为零样本工作流生成器

Gan Luo, Zihan Qin, Bin Dong, Wotao Yin

机构 * School of Mathematics Science, Peking University（北京大学数学科学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MetaFlow，将工作流生成视为元学习问题，通过两阶段训练（监督微调+强化学习）使模型能生成可泛化的任务级工作流，在问答、代码生成和数学推理任务上实现零样本泛化。

Comments 35 pages, 8 figures

Enhancing Numerical Prediction in LLMs via Smooth MMD Alignment

通过平滑MMD对齐增强LLM中的数值预测

Zhuo Zuo, Li Yue, Wenhao Zheng, Chenpeng Wang, Xianggen Liu

机构 * College of Computer Science, Sichuan University, Chengdu, China（四川大学计算机学院，成都，中国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对LLM在数值预测任务中精度不足的问题，提出平滑最大均值差异（SMMD）方法，通过数值令牌的距离核和图平滑对齐预测分布，在数学推理等任务中显著提升准确率。

Reward Modeling for Multi-Agent Orchestration

多智能体编排的奖励建模

King Yeung Tsang, Zihao Zhao, Vishal Venkataramani, Haizhou Shi, Zixuan Ke, Semih Yavuz, Shafiq Joty, Hao Wang

机构 * Rutgers University（罗杰斯大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出OrchRM框架，通过自监督学习从多智能体执行中间产物构建奖励模型，无需人工标注，实现高效编排器训练和测试时扩展，在多个领域提升性能并降低计算成本。

Comments Preprint; work in progress

SLMJury: Can Small Language Models Judge as Well as Large Ones?

SLMJury：小型语言模型能否像大型模型一样进行评判？

Anish Laddha, Nitesh Pradhan, Gaurav Srivastava

机构 * LNMIIT ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SLMJury框架，评估小型语言模型作为评判者的能力，发现领域依赖的过度思考效应、领域泛化差异、闭端与开端评判能力分离，以及多智能体辩论降低准确性。

Post-training is (Massive) Supervised Learning

后训练是（大规模）监督学习

Michael Hassid, Yossi Adi, Roy Schwartz

机构 * FAIR, Meta AI（Meta AI 基础人工智能研究团队） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文论证当前LLM后训练阶段（SFT+RL）实质是回归到BERT时代的“预训练-微调”范式，通过实验表明从零开始后训练的模型也能取得显著性能，并提出应转向“学会学习”的训练方式。

Measuring Semantic Abstractness of SAE Features via Nonlocality

通过非局部性测量SAE特征的语义抽象性

Chuqiao Lin, Shivaji Sondhi, Xiao-Liang Qi

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出特征非局部性（FNL）指标，可区分SAE特征的抽象层级，用于审计越狱缓解特征及引导DeepSeek-R1模型特征提升数学推理准确率。

Comments 18 pages, 9 figures

Fusion Training for Mathematical Generalization in Large Language Models

大型语言模型中数学泛化的融合训练

Congfeng Cao, Pengyu Zhang, Jelke Bloem

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对思维模式融合（TMF）训练动态开展系统性研究，揭示两种模式间的非对称相互作用与负相关关系，为设计TMF训练设置提供指导。

Comments ACL SRW 2026

Mismatch Matters: On-Policy Distillation Beyond Token Agreement

失配很重要：超越token一致性的在线蒸馏

Zichao Yu, Chengzhi Yu, Shengze Xu, Yujin Han, Bingqing Jiang, Xu Wang, Difan Zou

机构 * The University of Hong Kong（香港大学） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对在线蒸馏存在的退化一致性失效问题，提出TIDE方法修正师生失配，在数学推理基准上显著提升性能、缩短响应长度并减少格式错误。

SR-OPSD: Self-Referenced On-Policy Self-Distillation

SR-OPSD：自引用同策略自蒸馏

Zhuo Sun, Entong Li, Yanlong Zhao, Xiaoyuan Cheng, Wenxuan Yuan, Kaiyu Li, Che Liu, Huihang Liu, Harrison Bo Hua Zhu, Li Zeng

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Imperial College London（伦敦帝国学院） ； University of Science and Technology of China（中国科学技术大学） ； University College London（伦敦大学学院） ； Nanyang Technological University（南洋理工大学） ； Technical University of Denmark（丹麦技术大学） ； University of Copenhagen（哥本哈根大学） ； Peking University（北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对同策略自蒸馏的优化不稳定问题，提出SR-OPSD方法，通过几何插值结合Rényi散度优化蒸馏目标，在多任务大语言模型实验中取得最优或竞争性能。

PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation

PAST：基于完整学生轨迹的特权适配用于在线策略自蒸馏

Yangyang Feng, Zhuoyan Feng, Junlan Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Sun Yat-sen University（中山大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 PAST将完整学生轨迹作为OPSD教师的额外特权信息，通过前向KL蒸馏等方法优化教师，在三个数学推理基准上使Avg@12宏观平均值较Vanilla OPSD提升5.6个百分点。

FutureBridge: Token Selection Beyond Local Preference in Collaborative Decoding

FutureBridge：协作解码中超越局部偏好的令牌选择

Quanquan Li, Hongbo Zhang, Yihe Chi, Jingyu Li, Xidong Xi, Liuyang Song, Hongzhen Zhang, Yuxiang Huang, Jing Ke, Siyuan Ma, Junyi Lin, Guitao Cao

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 FutureBridge通过联合LLM-SLM令牌对SLM后续推理的支持度排序，在5个数学推理基准上使Qwen3-1.7B SLM的数学平均得分较贪心解码提升35.1%，超越了仅依赖LLM局部偏好的现有方法。

IB-RL: Isolated Bilateral Reinforcement Learning for Strategic Dialogue Agents

IB-RL：用于策略性对话智能体的孤立双边强化学习

Senhao Wang, Chenghao Cai, Haitao Hu, Mingxing Huang, Xingguang Wang, Wenhao Li, Zecheng Lin

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有RL训练范式的静态对应智能体不匹配问题，提出IB-RL方法，在Vehicle TeleSales和Deal-or-NoDeal任务上较单边RL基线显著提升了策略对未见过对应智能体的泛化能力。

EASy: Towards Efficient LLM-Based Agentic System

EASy：迈向高效的基于大语言模型的智能体系统

Junnan Liu, Linhao Luo, Thuy-Trang Vu, Gholamreza Haffari

机构 * Monash University（莫纳什大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 EASy是一种可训练的智能体框架，通过强化学习优化任务性能与计算效率，采用里程碑-规划-执行工作流，在多类基准上实现了更优的性能-效率权衡。

Comments Preprint

Approximate Speculative Decoding

近似投机解码

Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

专题命中 数学推理 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出无需训练的Approximate Speculative Decoding（ASD），通过带预算的最长前缀选择优化投机解码，提升了生成吞吐量与验证器接受率，且无需新草稿模型或微调。

BODHI: Do LLMs Branch Out and Discover Heterogeneous Inferences?

BODHI：大型语言模型是否会分支拓展并发现异构推理？

Soumadeep Saha, Krish Sharma, Akshay Chaturvedi, Nicholas Asher

机构 * ANITI, Université de Toulouse（图卢兹大学ANITI） ； LINAGORA Labs（LINAGORA实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过迷宫求解实验和BODHI-Trees分析，发现RLVR训练的LLMs存在策略熵崩溃，其采样效率提升以推理分支多样性下降为代价。

Comments 16 pages, 10 figures

Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning

策略滞后下的回滚复用：面向大语言模型强化学习的前缀归一化策略优化

Wenhao Zhang, Yibo Xie, Rui Wang, Jiahua Yang, Lei Jiang, Zibo Yang, Yawei Wang, Jiali Xu, jasperawang, Haoyang Long, Huan Xiong, alantzhao

机构 * Tencent（腾讯） ； Harbin Institute of Technology（哈尔滨工业大学） ； Jinan University（暨南大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型强化学习中回滚复用导致的离策略问题，提出前缀归一化策略优化（PNPO），在4个更新周期时其数学推理性能优于GSPO，可降低更新批次需求。

AdaMTP: An Adaptive Training Paradigm for Multi-Token Prediction

AdaMTP：一种面向多令牌预测的自适应训练范式

Ziqiang Cui, Han Shi, Bowei He, Yu Pan, Peiyang Liu, Shengyin Sun, Yankai Chen, Haoli Bai, Yichun Yin, Xue Liu, Chen Ma

机构 * City University of Hong Kong（香港城市大学） ； Huawei Technologies（华为技术有限公司） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； McGill University（麦吉尔大学） ； Peking University（北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 AdaMTP是适配序列内在可预测性的自适应MTP训练范式，通过熵算法划分语义边界抑制噪声梯度，在三类主干模型的多任务基准中均优于标准MTP，兼具性能与推理速度优势。

LoRA Scaffolded Policy Optimization (LSPO): A Sampling-Time Low-Rank Scaffold for Recovering Reinforcement-Learning Gradient on Zero-Reward Cliff Prompts

LoRA 支架策略优化（LSPO）：零奖励悬崖提示下恢复强化学习梯度的采样时低秩支架

Ken Ding

机构 * NVIDIA（英伟达） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对数学推理 RLVR 的悬崖提示梯度丢失问题，提出 LSPO 采样时机制，通过 LoRA 适配器恢复梯度，在 DeepMath-103K 数据集上 16 项基准指标均优于 DAPO，平均提升 3.8 分。

ReCo: Reweighting GRPO Against Distributional Concentration

ReCo：针对分布集中问题的GRPO重加权方法

Junoh Park, Junseo Hwang, Wonguk Cho, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对GRPO过度关注高概率响应导致推理覆盖度下降的问题，提出ReCo重加权方法，在多个数学推理基准上提升了大k值下的Pass@k表现。

LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding

LOCKS：用于高效长上下文解码的页面局部紧凑键摘要

Junsung Hwang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对长上下文解码中KV缓存瓶颈问题，提出LOCKS方法，为页面提供局部紧凑键摘要，通过重建对数its、估计注意力质量等操作，仅关注顶部页面，在多种任务中表现出色，显著降低解码延迟。

Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing

莫尔：让模型为稳健的跨域知识编辑指引自身方向

Jea Kwon, Jiwon Kim, Dong-kyum Kim, Meeyoung Cha

机构 * Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对语言模型训练后知识编辑核心能力退化问题，提出莫尔方法，通过从模型自身解码分布采样估计保留协方差，无需外部数据，可作插入组件。实验表明该方法能在多模型上扩展保留能力，提升准确率，凸显分布对齐对无损编辑的关键作用。

Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information

脱离上下文的广义信赖域策略优化算法：利用特权信息学习解决难题

Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

机构 * Meta AI ； Columbia University（哥伦比亚大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究利用特权信息解决强化学习难题，提出脱离上下文的广义信赖域策略优化算法（OC - GRPO），通过引导展开和重要性校正目标避免训练不匹配，在标准数学推理基准上比普通GRPO有显著提升且成本低。

Comments 24 Pages

Non-vacuous Generalization Bounds for Reinforcement Learning with Verifiable Rewards

具有可验证奖励的强化学习的非空泛化界限

Yuxuan Zhu, Rohan Alur, Daniel Kang

机构 * UIUC（伊利诺伊大学厄巴纳 - 香槟分校） ； MIT（麻省理工学院） ； Bridgewater AIA Labs（布里奇沃特人工智能实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对具有可验证奖励的强化学习在十亿参数规模下泛化性差的问题，通过将PAC-贝叶斯压缩界限与Gumbel-max重参数化技巧结合，并提出渐进式RLVR框架，在多领域建立非空泛化界限，性能优于基础模型且接近微调模型。

Comments 22 pages, 7 figures

Automatically Evolving Prompt Guidelines for Task-Specific Optimization

自动演化特定任务优化的提示指南

Cedric Richter, Salah Ghamizi, Mike Papadakis

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型提示指南优化问题，提出AGOPS方法，利用现有任务示例隐含信息，通过优化方案自动演化特定任务指南，提升下游任务性能，弥补提示不明确导致的性能损失。

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

GFlowRL：将分布匹配强化学习扩展到大型语言模型

Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

机构 * Microsoft Research（微软研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究旨在将GFlowNet风格的RL扩展到大型语言模型，提出GFlowRL算法，去除辅助分区网络，用批内蒙特卡罗估计替代学习的分区函数，并通过两个稳定器实现奖励分布匹配，在多个基准测试中表现出色，能稳定扩展到不同架构。

Comments 31 pages, 8 figures, 17 tables