大模型推理能力

Fragile Thoughts: How Large Language Models Handle Chain-of-Thought Perturbations

脆弱的思考：大型语言模型如何处理推理链扰动

Ashwath Vaithinathan Aravindan, Mayank Kejriwal

机构 * University of Southern California（南加州大学） ； Information Sciences Institute（信息科学研究所） 纠错

专题命中 数学推理 ：chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了大型语言模型在推理链扰动下的鲁棒性，通过五种扰动类型评估13种模型，发现不同扰动对模型的影响各异，模型规模在某些扰动中起到保护作用。

Improving Reasoning Capabilities in Small Models through Mixture-of-Layers Distillation with Stepwise Attention on Key Information

通过关键信息的分步注意力混合层蒸馏提升小模型的推理能力

Yao Chen, Jiawei Sheng, Wenyuan Zhang, Tingwen Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出一种基于分步注意力的混合层蒸馏方法，通过引导学生模型逐步聚焦关键信息，提升小模型的推理能力，并在多个数学和常识推理数据集上取得一致性能提升。

Comments Accepted at EMNLP 2025

Large Reasoning Models Are (Not Yet) Multilingual Latent Reasoners

大型推理模型是（尚未）多语言潜在推理器

Yihong Liu, Raoyuan Zhao, Hinrich Schütze, Michael A. Hedderich

机构 * cisnlp 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文研究了多语言潜在推理在大型推理模型中的表现，发现其在资源丰富语言中表现较强，但在低资源语言中较弱，且在更难的基准测试中更不明显。

Comments ACL 2026 Findings

TabularMath: Understanding Math Reasoning over Tables with Large Language Models

TabularMath: 通过大规模语言模型理解表格上的数学推理

Shi-Yu Tian, Zhi Zhou, Wei Dong, Kun-Yang Yu, Ming Yang, Zi-Jian Cheng, Lan-Zhe Guo, Yu-Feng Li

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title)；分类 cs.CL、cs.AI

AI总结 本文提出TabularMath基准，通过神经符号框架将数学问题转化为可扩展的表格推理任务，揭示表格复杂度、质量及表征对推理性能的影响，发现低质量表格对当前LLM的可靠性构成严重风险。

Comments Accepted by ACL 26

When to Trust Tools? Adaptive Tool Trust Calibration For Tool-Integrated Math Reasoning

何时信任工具？用于工具集成数学推理的自适应工具信任校准

Ruotao Xu, Yixin Ji, Yu Luo, Jinpeng Li, Dong Li, Peifeng Li, Juntao Li, Min Zhang

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） ； Department of Foundation Model, 2012 Labs, Huawei（华为基础模型部门） ； Harbin Institute of Technology, Shenzhen (HITSZ)（哈尔滨工业大学深圳（HITSZ）） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title)；分类 cs.CL

AI总结 本文提出ATTC框架，通过自适应选择信任或忽略工具结果来解决工具忽略问题，提升推理性能。

SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning

SelfBudgeter：面向高效大语言模型推理的自适应令牌分配

Zheng Li, Qingxiu Dong, Jingyuan Ma, Di Zhang, Kai Jia, Zhifang Sui

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） ； BandAI, Bytedance（字节跳动BandAI） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SelfBudgeter策略，通过自适应预算分配提升LLM推理效率，实验显示在数学推理任务中平均响应长度压缩61%并保持准确性。

Scaling Behaviors of LLM Reinforcement Learning Post-Training: An Empirical Study in Mathematical Reasoning

LLM强化学习后训练的扩展行为：数学推理中的实证研究

Zelin Tan, Hejia Geng, Xiaohang Yu, Mulei Zhang, Guancheng Wan, Yifan Zhou, Qiang He, Xiangyuan Xue, Heng Zhou, Yutao Fan, Zhongzhi Li, Zaibin Zhang, Guibin Zhang, Chen Zhang, Zhenfei Yin, Philip Torr, Lei Bai

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Oxford（牛津大学） ； Imperial College London（伦敦帝国学院） ； University of Georgia（佐治亚大学） ； The Chinese University of Hong Kong（香港中文大学） ； Chinese Academy of Sciences（中国科学院） ； Dalian University of Technology（大连理工大学） ； National University of Singapore（新加坡国立大学） ； Wuhan University（武汉大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过实证研究探讨了LLM后训练强化学习中的扩展行为，重点分析了模型规模、数据量和计算预算对数学推理性能的影响，揭示了学习效率的饱和趋势及高质量数据重复利用的有效性。

Comments V4 version:This Paper has been accepted by ACL 2026 Main Conference

Disentangling Mathematical Reasoning in LLMs: A Methodological Investigation of Internal Mechanisms

解构大语言模型中的数学推理：对内部机制的调查

Tanja Baeumel, Josef van Genabith, Simon Ostermann

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Saarland University（萨尔兰大学） ； Center for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 研究通过分析LLM执行算术任务时的内部机制，揭示模型在早期层识别算术任务，但正确结果生成仅在最终层完成，并发现擅长算术的模型在注意力与MLP模块间有明确分工。

Comments MathNLP 2025

Think Multilingual, Not Harder: A Data-Efficient Framework for Teaching Reasoning Models to Code-Switch

多语言思考，而非更难：一种数据高效的框架，用于教授推理模型进行语言混合

Eleanor M. Lin, David Jurgens

机构 * University of Michigan（密歇根大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出一种数据高效的框架，用于识别并教授推理模型更有效的语言混合行为，通过分析不同模型的语言混合行为，开发出有效的微调干预措施，提升推理模型的语言混合能力。

Curing Miracle Steps in LLM Mathematical Reasoning with Rubric Rewards

用评分奖励模型治愈大语言模型数学推理中的奇迹步骤

Youliang Yuan, Qiuyang Mang, Jingbang Chen, Hong Wan, Xiaoyuan Liu, Junjielong Xu, Jen-tse Huang, Wenxuan Wang, Wenxiang Jiao, Pinjia He

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（数据科学学院，香港中文大学（深圳）） ； UC Berkeley（加州大学伯克利分校） ； Zhejiang University（浙江大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Renmin University of China（中国人民大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文通过评分奖励模型解决大语言模型数学推理中的奇迹步骤问题，通过系统分析和人类验证建立失败模式分类，提升推理准确性和可靠性。

Comments Accepted by ACL 2026 Main, 22 pages, 10 figures, 7 Tables

Revisiting Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning

重新审视熵正则化：自适应系数解锁其在大语言模型强化学习中的潜力

Xiaoyun Zhang, Xiaojian Yuan, Di Huang, Wang You, Chen Hu, Jingqing Ruan, Ai Jian, Kejiang Chen, Xing Hu

机构 * State Key Lab of Processors, Institute of Computing Technology, CAS（处理器国家重点实验室，计算技术研究所，中国科学院） ； University of Science and Technology of China（中国科学技术大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； StepFun Inc（StepFun公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文重新审视熵正则化在强化学习中的应用，提出自适应熵正则化框架，通过动态平衡探索与利用提升数学推理性能。

Comments 16 pages, 4 figures

Beyond Distribution Sharpening: The Importance of Task Rewards

超越分布细化：任务奖励的重要性

Sarthak Mittal, Leo Gagnon, Guillaume Lajoie

机构 * Mila ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过对比分布细化与基于任务奖励的学习，揭示了任务奖励在提升模型性能中的关键作用，实验表明任务奖励能带来更稳定的性能提升。

StoSignSGD: Unbiased Structural Stochasticity Fixes SignSGD for Training Large Language Models

StoSignSGD：无偏结构随机性修正SignSGD用于训练大语言模型

Dingzhi Yu, Rui Pan, Yuxing Liu, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出StoSignSGD算法，通过在sign操作中注入结构随机性，解决SignSGD在非光滑目标下的发散问题，理论和实验均证明其在凸和非凸优化中的优越性。

Large Language Models for Math Education in Low-Resource Languages: A Study in Sinhala and Tamil

大型语言模型在低资源语言中的数学教育应用：斯里兰卡语和泰米尔语的研究

Sukumar Kishanthan, Kumar Thushalika, Buddhi Jayasekara, Asela Hevapathige

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University of Moratuwa（穆拉图瓦大学） ； Department of Electrical and Information Engineering（电气与信息工程系） ； University of Ruhuna（鲁胡纳大学） ； Faculty of Information Technology and Communication Sciences（信息科技与通讯科学学院） ； Tampere University（塔尔皮奥大学） ； School of Computing（计算学院） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了大型语言模型在斯里兰卡语和泰米尔语中的数学推理能力，发现基础算术推理在不同语言间表现稳定，但复杂问题在两种语言中均有显著下降，表明英语表现佳不等于多语言可靠。

Comments Accepted to ITHET 2026