大模型推理能力

Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning

棱柱形合成：基于梯度的数据多样化提升语言模型推理中的泛化能力

Jaehun Jung, Seungju Han, Ximing Lu, Skyler Hallinan, David Acuna, Shrimai Prabhumoye, Mostafa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Yejin Choi

机构 * NVIDIA Research（NVIDIA研究部） ； University of Washington（华盛顿大学） ； University of Southern California（南加州大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究语言模型训练数据多样性对泛化的作用，提出基于梯度熵的G - Vendi指标，进而构建棱柱形合成框架生成多样合成数据，有效提升模型性能，在多个基准测试中表现优于依赖更大数据生成器的模型。

Post-Training Shifts Confidence: A Three-Stage Analysis of How SFT, RL, and OPD Shape CoT Calibration

训练后转移置信度：对自训练微调、强化学习和在线策略蒸馏如何塑造思维链前、中、后校准的三阶段分析

Shuhao Li, Guodong Du, Anhao Zhao, Wanyu Lin, Tianyu Yuan, Xiaoyu Shen

机构 * Eastern Institute of Technology（东理工学院） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 数学推理 ：CoT(title)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 研究大型语言模型训练后方法在推理中重塑置信度的情况，提出三阶段校准框架，发现不同方法在不同阶段的置信度特点，基于此提出位置感知置信策略PosConf，提升了强化学习答案聚合及在线策略蒸馏早期停止效果。

MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models

MADA-RL：用于紧凑模型中参数高效推理的多智能体辩论感知强化学习

Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Zifeng Ding, Volker Tresp, Yunpu Ma

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对紧凑模型训练成本高问题，提出MADA-RL框架，将其分为生成器和评论家角色，用辩论感知信号训练，通过LoRA微调少量参数。核心是反事实评论家优势，提高了模型准确率，在数学推理基准测试中有显著效果。

Comments 20 pages, 3 figures, 9 tables, 2 algorithms, under review at TMLR

PPL-Factory: Task-Aware and Budget-Aware Data Selection from Language Modeling to Reasoning

PPL-Factory：从语言建模到推理的任务感知和预算感知数据选择

Hang Zhang, Warren J. Gross

机构 * McGill University（麦吉尔大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究如何从语言建模到推理进行任务和预算感知的数据选择，提出PPL-Factory框架，结合任务感知困惑度得分与数据预算感知标准，实验表明该框架在GSM8K等任务上仅用少量训练集就能超越其他方法，有效提升微调效率。

Comments 13 pages, 4 figures, 5 tables

Evaluating LLMs When They Do Not Know the Answer: Statistical Evaluation of Mathematical Reasoning via Comparative Signals

评估LLMs在不知道答案时的性能：通过比较信号进行数学推理的统计评估

Zihan Dong, Zhixian Zhang, Yang Zhou, Can Jin, Ruijia Wu, Linjun Zhang

机构 * Rutgers University（罗格斯大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种统计高效的方法，通过结合标准结果与成对比较信号，提升LLM数学推理能力评估的准确性和稳定性。

SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling

SOS-LoRA：具有固定多尺度缩放的静态正交子空间低秩自适应

Yupeng Chang, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（教育部知识驱动的人机智能工程研究中心） ； International Center of Future Science, Jilin University（吉林大学未来科学国际合作中心） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型中LoRA方法的不足，提出SOS-LoRA，将秩更新重参数化为多个静态低秩专家之和，通过分解总秩、固定多尺度缩放及正交初始化等，实现性能提升且可完全合并，实验证明其优于基线和变体。

Verify, Repair, Repeat, or Stop? Robust Stopping for Noisy Verify-Repair Loops in LLM Agents

验证、修复、重复还是停止？大语言模型代理中用于有噪声验证-修复循环的稳健停止方法

Yitao Wu, Si Shen, Rui Yang, Hong Peng, Bin Hu

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 研究大语言模型代理中验证-修复循环有噪声时缺乏停止原则的问题，提出VRR-Stop框架，通过四参数噪声模型和信念过滤估计有效性，依真实边际增益符号决策，配对VRR-Guard，提升了停止可靠性与真实有效性。

Comments 18 pages, 10 figures, 10 tables. Under review

Trace-Based On-Policy Distillation for Masked Diffusion Language Models

基于轨迹的策略蒸馏用于掩码扩散语言模型

Haolin Ren, Ziyang Huang, Chenhao Yuan, Jun Zhao, Kang Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对扩散大语言模型推理训练后处理难的问题，提出基于轨迹的策略蒸馏（TOPD）框架，通过在目标模型去噪轨迹上监督，利用教师模型获取令牌分布并以反向KL目标更新，在数学推理基准上提升了模型准确率且减少计算量。

Feature Generation Using LLMs: An Evolutionary Algorithm Approach

使用大语言模型进行特征生成：一种进化算法方法

Aria Nourbakhsh, Benoît Alcaraz, Christoph Schommer

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究利用大语言模型解决表格数据特征生成问题，创建管道结合属性与提示生成新特征，经选择算法筛选，应用于八个不同数据集，结果显示语言模型生成的新特征有助于给定任务并提升分类效果。

Journal ref Commun. Comput. Inf. Sci. 2471, 48-64 (2025)

Mediator: Memory-efficient LLM Merging with Less Parameter Conflicts and Uncertainty Based Routing

Mediator：基于较少参数冲突和不确定性路由的内存高效大语言模型合并

Kunfeng Lai, Zhenheng Tang, Xinglin Pan, Peijie Dong, Xiang Liu, Haolan Chen, Huacan Wang, Li Shen, Bo Li, Xiaowen Chu

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型合并中参数冲突致性能下降等问题，提出基于层参数冲突情况分别处理，结合任务算术稀疏性解耦专家，依输入数据任务不确定性选合并专家，实验表明该方法提升性能且降低系统成本。

Comments work in progress. arXiv admin note: text overlap with arXiv:2405.09673 by other authors

OMAC: A Holistic Optimization Framework for LLM-Based Multi-Agent Collaboration

OMAC：一种面向基于大语言模型的多智能体协作的综合优化框架

Shijun Li, Hilaf Hasson, Joydeep Ghosh

机构 * Department of Electrical and Computer Engineering, The University of Texas at Austin, Austin, United States（得克萨斯大学奥斯汀分校电子与计算机工程系） ； Intuit AI Research, Mountain View, United States（Intuit AI研究） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出OMAC框架，通过五个关键优化维度提升基于大语言模型的多智能体系统性能，采用语义初始化器和对比比较器算法实现单维和多维联合优化。

Comments Accepted as a Oral paper at ICML 2026

UnMaskFork: Test-Time Scaling for Masked Diffusion via Deterministic Action Branching

UnMaskFork：通过确定性动作分支实现Masked Diffusion的测试时扩展

Kou Misaki, Takuya Akiba

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 UnMaskFork通过确定性动作分支提升Masked Diffusion在测试时的扩展能力，优于现有方法并在复杂任务中表现优异。

Comments Accepted to ICML 2026

Probing the Difficulty Perception Mechanism of Large Language Models

探究大语言模型的难度感知机制

Sunbowen Lee, Qingyu Yin, Chak Tou Leong, Jialiang Zhang, Yicheng Gong, Shiwen Ni, Min Yang, Xiaoyu Shen

机构 * Institute of Digital Twin, EIT（数字孪生研究所，EIT） ； Wuhan University of Science and Technology（武汉科技大学） ； Zhejiang University（浙江大学） ； Hong Kong Polytechnic University（香港理工大学） ； Shenzhen Institutes of Advanced Technology, CAS（深圳先进技术研究院，中国科学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型内部评估问题难度的能力，通过线性探测和定位特定注意力头实现难度感知建模，经消融实验验证，为用LLMs作自动难度注释器提供支持，揭示token级差异，表明难度感知有结构组织，提供新方向。

Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective

重新思考异构语言模型合并：加权模型平均视角

Jiahe Fan, Yinghao Hou, Si Chen, Aiyuan Zhang, Hong Xie, Defu Lian

机构 * University of Science and Technology of China（中国科学技术大学） ； School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 研究异构语言模型合并问题，通过无训练的维度适配和比率控制插值，在联合式与交叉式合并中进行实验，结果表明简单参数平均结合轻量级适配和比率控制是强大基线，揭示直接加权融合的限制及对复杂方法的制约。

Comments 17 pages, 3 figures, 20 tables, preprint

Though Language Models Err While They Strive: Conformal Prediction for Self-Correcting Scientific Generation

尽管语言模型在努力时会出错：用于自我纠正科学生成的共形预测

Mingqiao Mo, Yunlong Tan, Hao Zhang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 研究针对大语言模型生成技术内容常违反科学原理的问题，提出图结构共形预测框架SFC，将科学推理分解为单元，考虑逻辑依赖，通过实时验证和动态分支纠错，在多基准测试中表现出色，提升准确率、有效性并减少定律违反。

Comments 25 pages

Shapley Context Pruning: A Cooperative Game Perspective for Context Reranking and Pruning

Shapley上下文剪枝：一种用于上下文重排和剪枝的合作博弈视角

Yanqiao Chen, Dongsheng Hou, Yuhan Rui, Zhen Cao, Yepang Liu

机构 * Southern University of Science and Technology（南方科技大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文针对检索增强生成系统上下文重排和剪枝缺乏可解释统一框架的问题，提出Shapley上下文剪枝框架，用合作博弈视角归因重要性，采用深度集架构和蒙特卡罗采样，经多实验验证，模型在下游问答性能上表现出色。

PPO-HSC: An Exploratory Reinforcement Learning Framework Based on Wide-Area Policy Coverage Optimization

PPO-HSC：基于广域策略覆盖优化的探索性强化学习框架

Yujie Shen, Haowen Chen

机构 * School of Mathematics, Hunan University（湖南大学数学学院） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 PPO-HSC是用于解决大语言模型微调中模式崩溃问题的探索性强化学习框架，通过纳入高阶采样覆盖奖励及维护动态轨迹库，提高解决方案多样性与状态空间覆盖，在数学推理和代码生成任务中表现出色。

Comments 13 pages, 3 figures

It Takes 8 Tokens: Weak-to-Strong Off-Policy RL via Auxiliary Branches

需要8个令牌：通过辅助分支实现从弱到强的离策略强化学习

Dayu Wang, Jiaye Yang, Weikang Li, Jiahui Liang, Liwei Qian, Xin Pei, Jizhou Huang

机构 * Baidu Inc.（百度公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对可验证奖励强化学习中目标模型样本语义冗余问题，提出从弱到强学习范式，引入W2SPO方法，通过注入短辅助段指导策略探索，实验表明该方法在数学推理基准测试中性能优异，能提升训练速度和准确率。

Heteroskedastic Signals in Budgeted LLM Verification: Structural Heterogeneity Limits Optimization Gains

预算受限LLM验证中的异方差信号：结构异质性限制了优化收益

Jinlong Yang

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文发现LLM不确定性信号在预算受限验证中存在异方差性，导致全局分配扭曲；通过分层阈值干预（CST）在强异质性设置下提升命中率达17个百分点，揭示结构异质性是主要瓶颈。

Self-Modifying Lean Proof Agents with Verifier-Grounded Benchmark Coevolution

基于验证器的基准协同进化的自修改精益证明智能体

Yuqing Li, Zeguan Wu, Yu Gan, Junyu Liu

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 代码与定理证明 ：verifier(title,abstract)；reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究设计有效精益证明智能体的挑战，提出自进化精益证明智能体，其工作区可变，与基准协同进化，通过特定更新机制保持分数可比，经实验验证该方法能有效改善精益证明工作流程。

Comments 22 pages, 2 figures, 3 tables

Theoria: Rewrite-Acceptability Verification over Informal Reasoning States

Theoria: 非正式推理状态上的重写-可接受性验证

Michael Saldivar, Ben Slivinski

机构 * Independent Researchers（独立研究者） 纠错

专题命中 代码与定理证明 ：reasoning(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Theoria验证架构，通过将候选解重写为带显式理由的序列化状态转换并验证变更完整性，在HLE-Verified Gold上以91.4%精确率认证105个问题，优于整体式LLM评判。

ETAS: An Effect-Typed Language for Agent Systems

ETAS：一种用于智能体系统的效果类型化语言

Huiri Tan, Yikun Wang, Puyang Zhang, Shangyu Li, Jiasi Shen

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 代码与定理证明 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对智能体系统设计ETAS语言，核心方法是通过规范一致性分配类型并用行为索引跟踪计算，主要贡献是为智能体执行相关推理提供编程语言基础，涵盖授权、非确定性等方面，还实现了该语言并形式化相关性质。

From Intent to Infrastructure: LLM-Driven Agent Compilers for ISAC Networks

从意图到基础设施：用于ISAC网络的基于大语言模型的智能体编译器

Lijie Zheng, Xudong Zhong, Baoquan Ren, Xiangwu Gong, Xinghui Zhu, Ji He

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Institute of Systems General, Academy of Systems Engineering, Academy of Military Sciences（系统工程院系统一般研究所） 纠错

专题命中 代码与定理证明 ：planning(abstract)；分类 cs.AI

AI总结 研究ISAC网络从概念验证到系统级部署的设计难题，提出基于大语言模型的智能体编译器，经四个阶段工作产生ISAC策略图，运行时引擎支持闭环自适应，以无人机救援为例展示编译过程并讨论开放问题。

Theoretical Foundations of $\max$@$k$ Reinforcement Learning

$\max$@$k$强化学习的理论基础

Riccardo Poiani, Martino Bernasconi, Andrea Celli

机构 * Bocconi University（博科尼大学） 纠错

专题命中 代码与定理证明 ：reasoning(abstract)；分类 cs.LG

AI总结 研究有限 horizon 强化学习中$\max$@$k$学习问题，指出其与标准预期回报最大化不同，证明马尔可夫策略不足，识别状态增强，表征策略性能差距，表明学习更难，给出高效算法实现最优样本复杂度率。

Show Me The Money: An Exercise in Proof-Driven Software Understanding

给我看钱：一个关于证明驱动软件理解的实践

Joseph Tafese, Karthik Nukala, Hassen Saïdi, Natarajan Shankar, Arie Gurfinkel, Giuliano Losa

专题命中 代码与定理证明 ：reasoning(abstract)

AI总结 该研究对成熟工业C++代码库进行证明驱动软件理解，结合大语言模型、PVS和SeaHorn，对恒星区块链SDEX订单簿核心算法形式化分析，发现文档不一致，生成便于检查代码更改的工件，展示了定理证明与模型检查组合为遗留系统提供保证的途径。

Comments CAV 2026

SATQuest: A Verifier for Logical Reasoning Evaluation and Reinforcement Fine-Tuning of LLMs

SATQuest：用于大语言模型逻辑推理评估和强化微调的验证器

Yanxiao Zhao, Yaqian Li, Zihao Bo, Rinyoichi Takezoe, Haojia Hui, Mo Guang, Lei Ren, Xiaolin Qin, Kaiwen Long

机构 * Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所） ； School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；verifier(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究旨在为大语言模型逻辑推理评估及强化微调提供工具。核心方法是SATQuest，它能从CNF实例生成推理任务并客观检查答案，从多维度评估。主要贡献是通过该工具发现模型逻辑推理差距，证明强化微调有效果但跨格式鲁棒性待提升，还提供了相关研究基础设施。

Comments 23 pages, 8 figures. ACL 2026 Main Conference long paper (oral presentation)

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2109-2131. Association for Computational Linguistics, 2026

Visual Access Boundaries in Vision-Language Model Reasoning

视觉语言模型推理中的视觉访问边界

Hiroto Osaka, Shohei Taniguchi, Gouki Minegishi, Kai Yamashita, Masahiro Suzuki, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

专题命中 逻辑推理 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 研究视觉语言模型推理中CoT提示扩展的内容，通过视觉访问扫描定义VAB，发现CoT不主要靠延长图像令牌访问提效，而是扩展语言侧计算，且CoT收益受感知读出限制，瓶颈在读出非计数。

Data-driven Machine Learning Cannot Reach Symbolic-level Logical Reasoning -- The Limit of the Scaling Law

数据驱动的机器学习无法达到符号级逻辑推理——缩放定律的极限

Tiansi Dong, Mateja Jamnik, Pietro Liò

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University of Cambridge（剑桥大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文通过理论分析和实验证明，数据驱动的监督深度学习无法通过增加训练数据和时间达到符号级三段论推理的严谨性，并揭示了训练数据和方法上的根本限制。

Constraint-Anchored Reasoning Traces

约束锚定推理轨迹

Zehua Cheng, Wei Dai, Jiahao Sun

机构 * University of Oxford（牛津大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；CoT(abstract)；分类 cs.AI

AI总结 研究自回归多模态大语言模型错误滚雪球问题，提出神经符号框架CART，将自然语言推理与符号约束断言交织，经双管齐下的模块验证约束，防止错误传播，在多基准测试中降低滚雪球率、提高准确率并控制推理开销。

Comments 15 pages, ACM MM 2026

Grounded verification of chemical and materials reasoning: detection is the bottleneck

化学与材料推理的有根据验证：检测是瓶颈

Can Polat, Mustafa Kurban, Erchin Serpedin, Hasan Kurban

专题命中 逻辑推理 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.LG

AI总结 研究针对大语言模型在化学推理中虚构对象的问题，提出分层验证器，通过与数据库核对及门控校正减少公式错误，检索次数大幅减少，修复成功率高，但检测召回率是瓶颈，基于事实验证可提高答案质量，长尾错误处提升明显。