大模型推理能力

From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning

从推理链到可验证子问题：课程强化学习使LLM推理能够进行信用分配

Xitai Jiang, Zihan Tang, Wenze Lin, Yang Yue, Shenzhi Wang, Gao Huang

机构 * LeapLab, Tsinghua University（清华大学 LeapLab） ； Qiuzhen College, Tsinghua University（清华大学 旗正学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出SCRL框架，通过从参考推理链中生成可验证子问题，解决LLM推理中信用分配问题，提升了在数学推理任务中的性能。

Tailoring Teaching to Aptitude: Direction-Adaptive Self-Distillation for LLM Reasoning

按能力定制教学：方向自适应自蒸馏用于LLM推理

Hongbin Zhang, Chaozheng Wang, Kehai Chen, Youcheng Pan, Yang Xiang, Jinpeng Wang, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology（计算智能研究所，哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Keeta AI, Meituan（Keeta AI，美团） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出方向自适应自蒸馏（DASD），通过熵引导的定向监督改进LLM推理，通过分析发现统一的教师监督导致探索被压制，DASD在六个数学推理基准中取得最佳表现。

Comments Under Review

LightReasoner: Can Small Language Models Teach Large Language Models Reasoning?

LightReasoner: 小型语言模型能否教会大型语言模型推理？

Jingyuan Wang, Yankai Chen, Zhonghang Li, Chao Huang

机构 * University of Hong Kong（香港大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LightReasoner框架，通过利用强专家模型与弱业余模型之间的行为差异，发现高价值推理时刻，从而提升大型语言模型的推理能力，同时减少资源消耗。

Comments Updated to ACL 2026 camera-ready version with improved method presentation, expanded related work discussion, additional analyses, and presentation refinements

LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance

LANG: 用于多语言推理的强化学习与语言自适应提示引导

Yuchun Fan, Bei Li, Peiguang Li, Yilin Wang, Yongyu Mu, Jian Yang, Xin Chen, Rongxiang Weng, Jingang Wang, Xunliang Cai, Jingbo Zhu, Tong Xiao

机构 * NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院自然语言处理实验室） ； Meituan Inc.（美团公司） ； NiuTrans Research, Shenyang, China（牛译研所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出LANG框架，通过语言条件提示引导非英语推理任务的探索，解决了多语言环境下强化学习在输入语言一致性与推理质量之间的权衡问题，提升了推理性能而不影响语言一致性。

Comments Accepted to ACL 2026 (main conference)

CLORE: Content-Level Optimization for Reasoning Efficiency

CLORE：面向推理效率的内容级优化

Yuyang Wu, Qiyao Xue, Guanxing Lu, Weichen Liu, Zihan Wang, Manling Li, Olexandr Isayev

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Northwestern University（西北大学） ； University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出CLORE框架，通过编辑正确在线轨迹来提升大语言模型的推理效率，通过外部增强模型删除冗余、不可读或无关内容，同时保留最终答案，并结合辅助参考-free DPO目标和标准策略梯度训练优化增强-原始对，实验表明CLORE在五个数学推理基准上提升了准确性和效率的平衡，并与GRPO、DAPO、Training Efficient和ThinkPrune兼容。

Comments 9 pages, 9 figures

Unveiling the Reasoning Process of Large Language Models

揭示大型语言模型的推理过程

Junjie Zhang, Zhen Shen, Xisong Dong, Gang Xiong

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文通过分析Transformer层中注意力头和层的信息转换，揭示了大型语言模型在数学和符号推理任务中，中间层将token级信息转化为可重用的关联结构的核心机制。

General Preference Reinforcement Learning

通用偏好强化学习

Muhammad Umer, Muhammad Ahmed Mohsin, Ahsan Bilal, Arslan Chaudhry, Andreas Haupt, Sanmi Koyejo, Emily Fox, John M. Cioffi

机构 * Stanford University（斯坦福大学） ； The University of Oklahoma（俄克拉荷马大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通用偏好强化学习（GPRL），通过引入通用偏好模型（GPM）解决传统强化学习在开放任务中连续探索不足的问题，通过多维偏好比较提升模型性能。

Maestro: Reinforcement Learning to Orchestrate Hierarchical Model-Skill Ensembles

Maestro：通过强化学习协调分层模型-技能集合

Jinyang Wu, Guocheng Zhai, Ruihan Jin, Yuhao Shen, Zhengxi Lu, Fan Zhang, Haoran Luo, Zheng Lian, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Maestro框架，通过强化学习协调多模态任务，利用分层模型-技能集合提升多模态任务性能，实现高效且通用的协调策略。

Linear Dynamics in the RLVR Training of Large Language Models

在大语言模型RLVR训练中的线性动力学

Tianle Wang, Jiayu Liu, Zhongyuan Wu, Shenghao Jin, Wei Chen, Hao Xu, Ning Miao

机构 * Department of Data Science, City University of Hong Kong（香港城市大学数据科学系） ； Hong Kong Institute of AI for Science, City University of Hong Kong（香港城市大学人工智能科学研究院） ； Li Auto Inc. ； Beihang University（北航大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了强化学习可验证奖励（RLVR）在大语言模型训练中的内部动态，发现RLVR在多种模型和训练配置下均进入线性区域，通过实验和理论分析证明这种线性特性源于训练信号的高方差和噪声，且具有预测性和实用性。

Comments Major revision: substantially reorganized the manuscript and added a theoretical explanation section. The replacement is intended for the same arXiv paper; the core topic and contribution remain the same

Self-Policy Distillation via Capability-Selective Subspace Projection

通过能力选择性子空间投影实现自我策略蒸馏

Guangya Hao, Yitong Shang, Yunbo Long, Zhuokai Zhao, Hanxue Liang

机构 * University of Cambridge（剑桥大学） ； HKUST（香港科技大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出Self-Policy Distillation（SPD），通过从模型自身梯度中提取低维能力子空间，将关键值（KV）激活投影到该子空间，并在标准下一项预测损失下进行微调，实现了无需外部信号的通用且能力选择性的自我蒸馏方法。

Reflective Prompt Tuning through Language Model Function-Calling

通过语言模型功能调用实现反思式提示调优

Farima Fatahi Bayat, Moin Aminnaseri, Pouya Pezeshkpour, Estevam Hruschka

机构 * Megagon Labs（梅加穹实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出了一种名为Reflective Prompt Tuning (RPT)的框架，利用语言模型功能调用模拟人类提示工程师的迭代工作流程，通过诊断函数评估目标模型，生成结构化诊断报告，并利用历史报告优化提示，从而提升提示效果和置信度校准。

Comments 17 pages, 6 figures

Manifold-Guided Attention Steering

基于流形的注意力引导

Ian Li, Kapilesh Guruprasad, Raunak Sengupta, Ninad Satish, Loris D'Antoni, Rose Yu

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出了一种基于流形的注意力引导方法，通过在推理过程中监控注意力头与正确性流形的距离，动态纠正偏差，从而提高大语言模型在数学推理、代码生成和分子生成等任务中的表现。

Visual-Advantage On-Policy Distillation for Vision-Language Models

基于视觉优势的在线策略蒸馏用于视觉-语言模型

Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, UCAS（中国科学院大学(UCAS)先进交叉学科学院） ； Hello Group Inc.（Hello集团有限公司） ； Sun Yat-sen University（中山大学） 纠错

专题命中 数学推理 ：reasoning(abstract)

AI总结 本文提出了一种基于视觉优势的在线策略蒸馏方法，用于提升视觉-语言模型对视觉输入的依赖性，通过引入视觉优势指标来区分关键视觉token与语言token，从而提高蒸馏效果。