大模型推理能力

Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs

Universal Reasoner: 一个单一、可组合的即插即用推理器用于冻结的LLM

Jaemin Kim, Hangeol Chang, Hyunmin Hwang, Choonghan Kim, Jong Chul Ye

机构 * Graduate School of Artificial Intelligence, Korea Advanced Institute of Science and Technology（人工智能研究生院，韩国科学技术院） 纠错

专题命中 数学推理 ：reasoning(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Universal Reasoner，一种可组合且即插即用的推理模块，能够在冻结的大规模语言模型上提供专门的推理能力，通过共享或对齐的token空间实现弱到强的泛化，实验表明其在数学推理和机器翻译中优于现有微调方法。

Comments ICML 2026

Bayesian Preference Learning for Test-Time Steerable Reward Models

基于测试时间可调节的贝叶斯偏好学习的奖励模型

Jiwoo Hong, Shao Tang, Zhipeng Wang

机构 * LinkedIn Corporation（LinkedIn公司） ； Nubank 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种新的贝叶斯奖励建模目标，即变分上下文奖励建模（ICRM），通过上下文偏好演示实现测试时间可调节性，从而适应未见过的偏好分布，提高了奖励模型的准确性和鲁棒性。

Comments Preprint

DEL: Digit Entropy Loss for Numerical Learning of Large Language Models

DEL：用于大语言模型数值学习的数字熵损失

Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； VCIP, College of Computer Science, Nankai University（南开大学计算机学院VCIP） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Digit Entropy Loss (DEL)用于大语言模型的自回归数值学习，通过重新设计传统无监督熵优化，引入数字条件概率和二元交叉熵，使熵优化转向监督方式，同时推广整数基于的数值学习到浮点数优化，从而提升数值预测的准确性。

You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

你只需要最小的RLVR训练：通过秩-1轨迹来扩展LLMs

Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

机构 * University of Virginia（弗吉尼亚大学） ； Washington University in St. Louis（华盛顿大学圣路易斯分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了通过秩-1轨迹扩展LLMs的方法，发现RLVR参数轨迹具有极低的秩和高度可预测性，并提出RELEX方法，通过简单的线性回归在无需训练模型的情况下实现高效的超量扩展。

Comments preprint. Code: https://github.com/weizhepei/RELEX

DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards

DelTA: 一种用于可验证奖励强化学习的判别性token信用分配

Kaiyi Zhang, Wei Wu, Yankai Lin

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院） ； Ant International（蚂蚁国际） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出DelTA方法，通过估计token系数来增强特定侧的token梯度方向，从而改进可验证奖励强化学习中的token概率更新，提升了模型在数学基准测试中的性能。

How Much Online RL is Enough? Informative Rollouts for Offline Preference Optimization in RLVR

在线强化学习需要多少？用于RLVR中离线偏好优化的信息性回放

Richa Verma, Balaraman Ravindran

机构 * TCS Research Department of CSE（TCS计算机科学系研究部） ； IIT Madras（印度理工学院马德拉斯分校） ； Department of Data Science & AI（数据科学与人工智能系） ； Wadhwani School of Data Science & AI（Wadhwani数据科学与人工智能学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出G2D方法，通过短时GRPO预热、构建静态偏好数据集和离线DPO微调，以较低的计算成本实现优于GRPO的性能，强调偏好数据信息性而非数量的重要性。

Towards Context-Invariant Safety Alignment for Large Language Models

面向大语言模型的上下文不变安全对齐

Yixu Wang, Yang Yao, Xin Wang, Yifeng Gao, Yan Teng, Xingjun Ma, Yingchun Wang

机构 * Fudan University, Shanghai, China（复旦大学，上海，中国） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种上下文不变的安全对齐方法，通过引入锚点不变正则化（AIR）来提升模型在不同上下文中的鲁棒性，从而增强安全约束对对抗性框架的抵抗力。

Comments ICML 2026

AGPO: Adaptive Group Policy Optimization with Dual Statistical Feedback

AGPO: 基于双统计反馈的自适应群体策略优化

Miaobo Hu, Shuhao Hu, Bokun Wang, Ruohan Wang, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AGPO，一种无 critic 的 GRPO 改进方法，通过群体层面的统计信息控制更新幅度和探索。在九个英语和中文数学/STEM 基准上，Qwen2.5-14B 在相同生成 token 预算下优于 PPO/GRPO，达到 GSM8K 67.3% 和 MATH 40.5%。

Efficient numeracy in language models through single-token number embeddings

通过单token数字嵌入提升语言模型的数值处理效率

Linus Kreitner, Paul Hager, Jonathan Mengedoht, Georgios Kaissis, Daniel Rueckert, Martin J. Menten

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital, Munich, Germany（人工智能在医疗和医学中的Chair，慕尼黑技术大学（TUM）和慕尼黑技术大学医院，德国慕尼黑） ； Department of Computing, Imperial College London, UK（计算系，伦敦帝国学院，英国） ； Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML），德国慕尼黑） ； Hasso Plattner Institute for Digital Engineering, University of Potsdam, Germany（哈索·platzer研究所数字工程学院，波茨坦大学，德国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出BitTokens，一种利用IEEE 754二进制浮点表示将数字编码为单token的方法，使语言模型能更高效地处理数值计算，从而提升其解决复杂问题的能力。