大模型推理能力

General Synthetic-Powered Inference

通用合成数据驱动推断

Meshi Bashari, Yonghoon Lee, Roy Maor Lotan, Edgar Dobriban, Yaniv Romano

机构 * Department of Electrical and Computer Engineering, Technion IIT, Israel（电气与计算机工程系，技术离子研究所，以色列） ； Department of Statistics and Data Science, The Wharton School, University of Pennsylvania, USA（统计学与数据科学系，沃顿商学院，宾夕法尼亚大学，美国） ； Department of Computer Science, Technion IIT, Israel（计算机科学系，技术离子研究所，以色列） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出了一种通用合成数据驱动推断框架，通过结合高质量合成数据和真实数据来提高样本效率，同时在合成数据质量低时自动回退到传统方法，无需分布假设即可保持误差率在用户指定范围内。

SemBlock: Semantic Boundary Dynamic Blocks for Diffusion LLMs

SemBlock: 扩散语言模型的语义边界动态块

Xinrui Song, Zhuoran Wang, Mingju Gao, Hao Tang

机构 * School of Computer Science, Peking University（北京大学计算机学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出SemBlock框架，通过预测语义边界动态构建解码块，利用轻量预测器在冻结的LLaDA隐状态上训练，并在自然语言、数学和代码任务中优于固定块解码和AdaBlock。

Comments Code: https://github.com/TH-AI-Lab-PKU/SemBlock

GRAIL: Gradient-Reweighted Advantages for Reinforcement Learning with Verifiable Rewards

GRAIL: 基于梯度重加权优势的可验证奖励强化学习

Tej Deep Pala, Vernon Toh, Soujanya Poria

机构 * DeCLaRe Lab, Nanyang Technological University（DeCLaRe实验室，南洋理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 针对强化学习中统一优势分配导致梯度信号稀释的问题，提出基于梯度激活显著性的令牌级优势重加权方法GRAIL，无需过程级监督即可提升推理对齐，在多个模型上平均准确率提升3.60%。

PyraMathBench: Evaluating and Improving Mathematical Capability in Large Language Models

PyraMathBench: 评估与提升大型语言模型的数学能力

Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

机构 * East China Normal University（东华师范大学） ； Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索普兰特纳研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出PyraMathBench分层基准测试，通过整合数值处理与数学推理评估LLM，并引入SOLVE模块和IRPO优化方法提升数值-数学协同能力。

DFlare: Scaling Up Draft Capacity for Block Diffusion Speculative Decoding

DFlare: 扩展块扩散推测解码的草稿容量

Jiebin Zhang, Zhenghan Yu, Song Liu, Eugene J. Yu, Zheng Li, Dawei Zhu, Jiangshan Duo, Weimin Xiong, Yifan Song, Guanghua Yu, Jianchen Zhu, Sujian Li

机构 * School of Computer Science, Peking University（北京大学计算机科学系） ； Tencent（腾讯） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出DFlare方法，通过轻量级逐层融合机制扩展草稿模型容量，在多个基准上实现平均5.52倍加速。

Comments 12 pages, 3 figures

ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models

ParaBlock：面向大语言模型的通信-计算并行块坐标联邦学习

Yujia Wang, Yuanpu Cao, Jinghui Chen

机构 * College of Information Sciences and Technology（信息科学与技术学院） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 提出ParaBlock方法，通过并行化通信与计算线程，在联邦学习大语言模型时提升通信效率，并理论证明其收敛率与标准方法相同，实验验证其性能与效率优势。

Comments Accepted by TMLR

Not All Errors Are Equal: A Systematic Study of Error Propagation in Large Language Model Inference

并非所有错误都平等：大型语言模型推理中错误传播的系统研究

Yafan Huang, Sheng Di, Guanpeng Li

机构 * University of Iowa（爱荷华大学） ； Argonne National Laboratory（阿贡国家实验室） ； University of Florida（佛罗里达大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究通过提出的LLMFI故障注入框架，系统研究了软错误在大型语言模型推理中的传播机制，揭示了关键脆弱性模式，并提出了四种低开销的软件级可靠性改进方向。

Comments Accepted at ICS'26

Do Multimodal Agents Really Benefit from Tool Use? A Systematic Study of Capability Gains

多模态智能体真的从工具使用中受益吗？能力增益的系统性研究

Garvin Guo, Donglei Yu, Yu Chen, Xiang Wang, Shuai Li, Xinpei Zhao, Huaxing Liu, Qinghao Wang, Minpeng Liao

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 通过对比工具增强与无工具的多模态智能体在多项任务上的表现，发现工具使用并未带来一致的性能提升，智能体更多是学会了工具调用模式而非真正利用工具扩展能力。

AnyEdit++: Adaptive Long-Form Knowledge Editing via Bayesian Surprise

AnyEdit++: 基于贝叶斯惊讶的自适应长文本知识编辑

Bowen Tian, Caixue He, Jiemin Wu, Jingying Wang, Wenshuo Chen, Zexi Li, Yutao Yue

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AnyEdit++框架，通过基于贝叶斯惊讶的自适应分割机制Bayes-Chunk，实现结构感知的长文本知识编辑，在数学推理、代码生成和叙事任务上优于现有方法。

Comments Accepted by ICML 2026

Enhancing LLM Metacognition via Cognitive Pairwise Training

通过认知成对训练增强LLM元认知

Weitao Li, Hao Zhou, Xuanyu Lei, Fandong Meng, Yuanhang Liu, Jingyi Ren, Ante Wang, Xiaolong Wang, Yuanchi Zhang, Fuwen Luo, Guangwen Yang, Lin Gan, Weizhi Ma, Yang Liu

机构 * National Engineering Laboratory for Intelligent Information Processing, Academy of Mathematics and Physics, Chinese Academy of Sciences（智能信息处理国家工程实验室，中国科学院数学物理研究所） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 提出认知成对训练（CPT），通过成对比较推理轨迹来学习区分可靠与不可靠推理，从而提升LLM的推理与元认知权衡。

Language Modeling with Hyperspherical Flows

超球面流语言建模

Justin Deschenaux, Caglar Gulcehre

机构 * EPFL（苏黎世联邦理工学院） ； Microsoft AI（微软人工智能） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 提出一种在超球面潜空间中进行连续流语言建模的方法 S-FLM，通过旋转向量和交叉熵学习速度场，避免独热向量开销，在大型词汇推理任务上显著提升性能，缩小了与掩码扩散模型的差距。

A Task-Centric Theory for Iterative Self-Improvement with Easy-to-Hard Curricula

一种以任务为中心的迭代自改进理论，采用由易到难的课程

Chenruo Liu, Yijun Dong, Yiqiu Shen, Qi Lei

机构 * New York University（纽约大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文通过将自改进建模为基于奖励过滤分布的最大似然微调，推导了期望奖励的有限样本保证，并证明了在推理任务中由易到难的课程比固定任务混合训练具有更好的理论保证。

AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents

AgentProcessBench：诊断工具使用代理的步骤级过程质量

Shengda Fan, Xuyan Ye, Yupeng Huo, Zhi-Yuan Chen, Yiju Guo, Shenzhi Yang, Wenkai Yang, Shuqi Ye, Jingwen Chen, Haotian Chen, Xin Cong, Yankai Lin

机构 * Renmin University of China（中国人民大学） ； Beijing Jiaotong University（北京交通大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AgentProcessBench基准，通过三元标注方案和错误传播规则评估工具增强轨迹中的步骤级有效性，揭示当前模型在区分中立与错误动作方面的挑战，并证明过程信号对结果监督的补充价值。

Code2Math: Can Your Code Agent Effectively Evolve Math Problems Through Exploration?

Code2Math：你的代码智能体能否通过探索有效演化数学问题？

Dadi Guo, Yuejin Xie, Qingyu Liu, Weixian Huang, Jiayu Liu, Zhiyuan Fan, Qihan Ren, Shuai Shao, Tianyi Zhou, Jianjie Feng, Wenze Su, Yujiu Yang, Dongrui Liu, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Nanjing Tech University（南京工业大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Michigan（密歇根大学） ； Independent Researcher（独立研究者） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出一个多智能体框架，利用代码智能体通过探索将现有数学问题自主演化为更复杂、更困难的变体，并验证其可解性和难度提升。

Comments 38 pages

Mellum2 Technical Report

Mellum2 技术报告

Marko Kojic, Ivan Bondyrev, Aral de Moor, Joseph Shtok, Petr Borovlev, Kseniia Lysaniuk, Madeeswaran Kannan, Ivan Dolgov, Nikita Pavlichenko

机构 * JetBrains ； Constructor University（Constructor大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文介绍 Mellum 2，一个12B参数（每token激活2.5B）的混合专家语言模型，专攻软件工程，通过架构创新和训练优化在代码生成、数学推理等基准上达到4B-14B开源模型的竞争力。

Attend to Evidence: Evidence-Anchored Spatial Attention Supervision for Multimodal RLVR

关注证据：面向多模态RLVR的证据锚定空间注意力监督

Ruina Hu, Chen Wang, Lai Wei, Jionghao Bai, Bin Yu, Weiran Huang, Kai Wang, Yue Wang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Zhongguancun Academy（中关村学院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） ； Nankai University（南开大学） ； Shanghai Jiaotong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出EASE方法，通过将标注证据区域转化为平滑视觉标记目标，在多模态强化学习训练中引导响应到图像的注意力，从而提升视觉语言模型在感知、幻觉、视觉数学和多模态推理基准上的性能。

ExpGraph: Model-Agnostic Experience Learning with Graph-Structured Memory for LLM Agents

ExpGraph: 面向LLM智能体的模型无关经验学习与图结构记忆

Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Nanyang Technological University（南洋理工大学） ； Meta Monetization AI（Meta 营收人工智能） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出ExpGraph框架，通过图结构记忆和强化学习实现冻结LLM执行器的外部经验复用，在问答、数学推理、代码生成和多步智能体任务上显著提升性能并减少交互步骤。

Representation Collapse in Sequential Post-Training of Large Language Models

大型语言模型顺序后训练中的表示坍缩

Yichen Liu, Mingyu Chen, Hao Wang, Xiaoran Xu, Chenxi Lin, Rui Zhang, Yutong Zhou, Yuxin Yang, Jiarui Wu, Wei Sun

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang Gongshang University（浙江工商大学） ； Ningbo University（宁波大学） ； Shanghai University（上海大学） 纠错

专题命中 数学推理 ：chain-of-thought(abstract)；分类 cs.LG

AI总结 研究大型语言模型在顺序后训练阶段中内部表示逐渐压缩为低秩、各向异性且同质的特征空间，并提出轻量级干预措施以保持未来可学习性。

Comments work in progress

SEAL: Can Saturated Benchmarks Be Revived by LLM-as-a-Meta-Judge?

SEAL: 饱和基准能否通过LLM作为元裁判得以复兴？

Jiamin Chen, Yidi Wu, Qiexiang Wang, Qianben Chen, Yuchen Li, Yansen Zhang, Xiaokun Zhang, Wangchunshu Zhou, Chen Ma

机构 * ByteDance Inc.（字节跳动公司） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出SEAL协议，通过自适应LLM元裁判从饱和基准中提取潜在排名信号，在代码生成、数学推理等任务上以更少调用实现高排名准确率。

NaRA: Noise-Aware LoRA for Parameter-Efficient Fine-Tuning of Diffusion LLMs

NaRA: 面向扩散大语言模型参数高效微调的噪声感知LoRA

Shuaidi Wang, Zhan Zhuang, Ruping Huang, Yu Zhang

机构 * Department of Computer Science and Engineering, Southern University of Science and Technology, Shenzhen, China（南方科技大学计算机科学与工程系，深圳，中国） ； Department of Computer Science, City University of Hong Kong, Hong Kong, China（香港城市大学计算机科学系，香港，中国） ； Department of Computer Science and Engineering, Hong Kong University of Science and Technology, Hong Kong, China（香港理工大学计算机科学与工程系，香港，中国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 针对扩散大语言模型，提出噪声感知低秩适配（NaRA），通过噪声条件超网络生成低秩核心矩阵，实现沿去噪轨迹连续变化的更新矩阵，在常识推理、数学推理和代码生成基准上优于噪声无关基线。

A Matter of Interest: Understanding Interestingness of Math Problems in Humans and Language Models

兴趣问题：理解人类与语言模型对数学问题的兴趣度

Shubhra Mishra, Yuka Machino, Gabriel Poesia, Albert Jiang, Joy Hsu, Adrian Weller, Challenger Mishra, David Broman, Joshua B. Tenenbaum, Mateja Jamnik, Cedegao E. Zhang, Katherine M. Collins

机构 * KTH Royal Institute of Technology（皇家理工学院） ； Stanford University（斯坦福大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Cambridge（剑桥大学） ； Kempner Institute at Harvard University（哈佛大学肯普尼研究所） ； Mistral AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 通过比较大型语言模型与不同数学背景人群对数学问题的兴趣度评分，研究LLM在兴趣判断上与人类的一致性，并评估其生成有趣问题的能力。

Comments Published at the Math-AI Workshop, NeurIPS 2025

EAPO: Enhancing Policy Optimization with On-Demand Expert Assistance

EAPO: 利用按需专家协助增强策略优化

Siyao Song, Cong Ma, Zhihao Cheng, Shiye Lei, Minghao Li, Ying Zeng, Huaixiao Tou, Kai Jia

机构 * ByteDance BandAI（字节跳动BandAI） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出专家辅助策略优化（EAPO）框架，通过训练中与外部专家的多轮交互增强探索，解决强化学习中的稀疏奖励和低效探索问题，在多个基准上平均提升5个点。

Comments Accepted by ICML 2026

Entropy-KL Divergence-based Token Masking: A Novel Approach for Selective Fine-tuning of Large Language Models

基于熵-KL散度的令牌掩码：一种用于大语言模型选择性微调的新方法

Qi Liu, Mingdi Sun, Yongyi He, Zhi Zheng, Tong Xu, Yi Zheng, Zhefeng Wang, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Cloud（华为云） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 针对低数据场景下标准监督微调导致模型分布偏移的问题，提出EKSFT方法，通过选择性掩码高熵或高KL散度的令牌，在注入任务知识的同时保持预训练分布完整性，在数学推理基准上优于标准SFT并提升后续RL性能。

Comments 17 pages

Beyond Consensus: Trace-Level Synthesis in Mixture of Agents

超越共识：混合智能体中的轨迹级合成

Shreyas Fadnavis, Praitayini Kanakaraj, Felix Wyss

机构 * Bioscope AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出轨迹级合成方法，通过语义保持输入扰动生成多样化推理轨迹，并利用锚定精炼保证非退化，从而在多数投票失败时仍能恢复正确解，超越基于答案的聚合。

Grammar-Aware Literate Generative Mathematical Programming with Compiler-in-the-Loop

语法感知的 literate 生成式数学编程与编译器在环

Roberto Rossi, Steven D. Prestwich

机构 * Business School, University of Edinburgh（爱丁堡大学商学院） ； Insight Centre for Data Analytics, University College Cork（科克大学数据分析研究所） 纠错

专题命中 数学推理 ：planning(abstract)；分类 cs.AI

AI总结 提出 SyntAGM 系统，通过迭代生成-编译-评估-修正循环，利用编译器反馈和 LLM 对齐判断，生成可读的代数建模语言优化模型，实现成本与质量的更优权衡。

Comments 18 pages, 7 figures

AgentOrchestra: Orchestrating Multi-Agent Intelligence with the Tool-Environment-Agent(TEA) Protocol

AgentOrchestra：使用工具-环境-智能体（TEA）协议编排多智能体智能

Wentao Zhang, Liang Zeng, Yuzhen Xiao, Yongcong Li, Ce Cui, Yilei Zhao, Rui Hu, Yang Liu, Yahui Zhou, Bo An

机构 * Skywork AI ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出TEA协议和AgentOrchestra框架，通过统一抽象和分层编排实现多智能体系统的生命周期感知协调，在GAIA测试集上达到89.04%的准确率。

Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration

通过最优系数校准在强化学习中联合训练多令牌预测

Zili Wang, Jiajun Chai, Lin Chen, Xiaohan Wang, Shiming Xiang, Guojun Yin

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Meituan（美团） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文从优化角度分析多令牌预测与强化学习联合训练失败的原因，提出最优系数校准方法，通过在线跟踪最优系数实现性能提升。

ReverseMath: Answer Inversion for Scalable and Verifiable Mathematical Problem Generation

ReverseMath: 面向可扩展和可验证数学问题生成的答案反转方法

Raoyuan Zhao, Yihong Liu, Yupei Du, Hinrich Schütze, Michael A. Hedderich

机构 * Center for Information and Language Processing（信息与语言处理中心） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心 (MCML)） ； Saarland University（萨尔兰州大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出ReverseMath方法，通过反转原始问题的输入输出关系自动生成新数学问题，用于评估和训练，揭示记忆行为并提升推理性能。

OGER: A Robust Offline-Guided Exploration Reward for Hybrid Reinforcement Learning

OGER：一种用于混合强化学习的鲁棒离线引导探索奖励

Xinyu Ma, Mingzhou Xu, Xuebo Liu, Chang Jin, Qiang Wang, Derek F. Wong, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳研究院） ； Hithink RoyalFlush Information Network, Hangzhou, China（杭州Hithink RoyalFlush信息网络） ； Computer and Information Science, University of Macau, Macau, China（澳门大学计算机与信息科学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出OGER框架，通过多教师协作训练和基于熵的辅助探索奖励，统一离线教师引导与在线强化学习，提升大语言模型在数学推理和泛化任务中的探索能力。

Large Language Models Approach Expert Pedagogical Quality in Math Tutoring but Differ in Instructional and Linguistic Profiles

大型语言模型在数学辅导中接近专家教学质量，但在教学和语言特征上存在差异

Ramatu Oiza Abdulsalam, Segun Aroyehun

机构 * African University of science and Technology（非洲科学与技术大学） ； University of Konstanz（康斯坦茨大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 通过分析数学辅导对话数据集，比较专家、新手教师和七种大型语言模型的教学质量，发现大型语言模型平均接近专家水平，但在教学策略和语言特征上存在系统性差异。