大模型推理能力

Attention as a Compass: Efficient Exploration for Process-Supervised RL in Reasoning Models

Runze Liu, Jiakang Wang, Yuling Shi, Zhihui Xie, Chenxin An, Kaiyan Zhang, Jian Zhao, Xiaodong Gu, Lei Lin, Wenping Hu, Xiu Li, Fuzheng Zhang, Guorui Zhou, Kun Gai

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） ； Shanghai Jiao Tong University（上海交通大学） ； The University of Hong Kong（香港大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

Date Fragments: A Hidden Bottleneck of Tokenization for Temporal Reasoning

Gagan Bhatia, Maxime Peyrard, Wei Zhao

机构 * University of Aberdeen（阿伯丁大学） ； Université Grenoble Alpes & CNRS（格勒诺布尔阿尔卑斯大学及CNRS） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

RAG+: Enhancing Retrieval-Augmented Generation with Application-Aware Reasoning

Yu Wang, Shiwan Zhao, Zhihu Wang, Ming Fan, Xicheng Zhang, Yubo Zhang, Zhengfan Wang, Heyuan Huang, Ting Liu

机构 * Xi’an Jiaotong University（西安交通大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Nankai University（南开大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Adaptive Overclocking: Dynamic Control of Thinking Path Length via Real-Time Reasoning Signals

Shuhao Jiang, Songbo Wang, Yang Qiao, Chun Xu, Chaoyang Zheng, Shengyi Zhou, Huanjun Wang, Fangming Li, Cong Zhang, Jiyu Wang

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

REAMS: Reasoning Enhanced Algorithm for Maths Solving

Eishkaran Singh, Tanav Singh Bajaj, Siddharth Nayak

机构 * Thapar（塔帕尔学院） ； University of British Columbia（不列颠哥伦比亚大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

On LLM-Based Scientific Inductive Reasoning Beyond Equations

Brian S. Lin, Jiaxin Yuan, Zihan Zhou, Shouli Wang, Shuo Wang, Cunliang Kong, Qi Shi, Yuxuan Li, Liner Yang, Zhiyuan Liu, Maosong Sun

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, BNRist Center, Tsinghua University（计算机科学与技术系，人工智能研究院，BNRist中心，清华大学） ； Jiangsu Collaborative Innovation Center for Language Ability, Jiangsu Normal University（江苏语言能力协同创新中心，江苏师范大学） ； Beijing Language and Culture University（北京语言文化大学） ； Xiamen University（厦门大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments 24 pages

Best-of-L: Cross-Lingual Reward Modeling for Mathematical Reasoning

Sara Rajaee, Rochelle Choenni, Ekaterina Shutova, Christof Monz

机构 * Language Technology Lab, University of Amsterdam（阿姆斯特丹大学语言技术实验室） ； ILLC, University of Amsterdam（阿姆斯特丹大学语言学研究所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Examining False Positives under Inference Scaling for Mathematical Reasoning

Yu Wang, Nan Yang, Liang Wang, Furu Wei, Fuli Feng

机构 * University of Science and Technology of China（中国科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Outcome-based Exploration for LLM Reasoning

Yuda Song, Julia Kempe, Remi Munos

机构 * FAIR at Meta（Meta 的 FAIR） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

Comments 26 pages, 11 figures

A Fragile Number Sense: Probing the Elemental Limits of Numerical Reasoning in LLMs

Roussel Rahman, Aashwin Ananda Mishra

机构 * Stanford University（斯坦福大学） ； SLAC National Accelerator Laboratory（SLAC国家加速器实验室） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

From Implicit Exploration to Structured Reasoning: Leveraging Guideline and Refinement for LLMs

Jiaxiang Chen, Zhuo Wang, Mingxi Zou, Zhucong Li, Zhijian Zhou, Song Wang, Zenglin Xu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Zoom Video Communications（Zoom视频通讯） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Throttling Web Agents Using Reasoning Gates

Abhinav Kumar, Jaechul Roh, Ali Naseh, Amir Houmansadr, Eugene Bagdasarian

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Measuring Reasoning Utility in LLMs via Conditional Entropy Reduction

Xu Guo

机构 * KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments 11 pages, 4 figures

MATATA: Weakly Supervised End-to-End MAthematical Tool-Augmented Reasoning for Tabular Applications

Vishnou Vinayagame, Gregory Senay, Luis Martí

机构 * Docugami Inc（Docugami公司） ； University of Toronto（多伦多大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

Comments Published as a conference paper at ICDAR 2025

Can Large Models Teach Student Models to Solve Mathematical Problems Like Human Beings? A Reasoning Distillation Method via Multi-LoRA Interaction

Xinhe Li, Jiajun Liu, Peng Wang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（新一代人工智能技术及其交叉应用重点实验室（东南大学），教育部） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted by IJCAI2025

Beyond Solving Math Quiz: Evaluating the Ability of Large Reasoning Models to Ask for Information

Youcheng Huang, Bowen Qin, Chen Huang, Duanyu Feng, Xi Yang, Wenqiang Lei

机构 * Sichuan University, China（四川大学） ； Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China（教育部机器学习与工业智能工程研究中心） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Data Science, National University of Singapore, Singapore（新加坡国立大学数据科学研究所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Hypothesis-Driven Theory-of-Mind Reasoning for Large Language Models

Hyunwoo Kim, Melanie Sclar, Tan Zhi-Xuan, Lance Ying, Sydney Levine, Yang Liu, Joshua B. Tenenbaum, Yejin Choi

机构 * NVIDIA（NVIDIA公司） ； University of Washington（华盛顿大学） ； MIT（麻省理工学院） ； Harvard University（哈佛大学） ； Amazon（亚马逊公司） ； Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments COLM 2025. For code and data, see https://hyunw.kim/thought-tracing

Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks

Xingcheng Xu, Zibo Zhao, Haipeng Zhang, Yanqing Yang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； ShanghaiTech University（上海科技大学） ； University of Hong Kong（香港大学） ； Fudan University（复旦大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Comments Accepted by the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), Main Conference

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2025

Uncertainty-Based Methods for Automated Process Reward Data Construction and Output Aggregation in Mathematical Reasoning

Jiuzhou Han, Wray Buntine, Ehsan Shareghi

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Predictive Auditing of Hidden Tokens in LLM APIs via Reasoning Length Estimation

Ziyao Wang, Guoheng Sun, Yexiao He, Zheyu Shen, Bowei Tian, Ang Li

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Trustworthy Reasoning: Evaluating and Enhancing Factual Accuracy in LLM Intermediate Thought Processes

Rui Jiao, Yue Zhang, Jinku Li

机构 * School of Cyber Engineering, Xidian University（西安电子科技大学电子工程学院） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

LIMO: Less is More for Reasoning

Yixin Ye, Zhen Huang, Yang Xiao, Ethan Chern, Shijie Xia, Pengfei Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； SII-GAIR ； Fudan University（复旦大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments COLM 2025

An Efficient and Precise Training Data Construction Framework for Process-supervised Reward Model in Mathematical Reasoning

Wei Sun, Qianlong Du, Fuwei Cui, Jiajun Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Fail Fast, or Ask: Mitigating the Deficiencies of Reasoning LLMs with Human-in-the-Loop Systems Engineering

Michael J. Zellinger, Matt Thomson

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Comments 8 pages, 5 figures

How to Train a Leader: Hierarchical Reasoning in Multi-Agent LLMs

Andrew Estornell, Jean-Francois Ton, Muhammad Faaiz Taufiq, Hang Li

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

From Data-Centric to Sample-Centric: Enhancing LLM Reasoning via Progressive Optimization

Xinjie Chen, Minpeng Liao, Guoxin Chen, Chengxi Li, Biao Fu, Kai Fan, Xinggao Liu

机构 * Zhejiang University（浙江大学） ； Alibaba Group Tongyi Lab（阿里巴巴集团通义实验室） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Comments Work in progress

Extended Inductive Reasoning for Personalized Preference Inference from Behavioral Signals

Jia-Nan Li, Jian Guan, Wei Wu, Rui Yan

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Improving RL Exploration for LLM Reasoning through Retrospective Replay

Shihan Dou, Muling Wu, Jingwen Xu, Rui Zheng, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University, Shanghai, China（复旦大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

Comments 13 pages, 3 figures

Maximizing Confidence Alone Improves Reasoning

Mihir Prabhudesai, Lili Chen, Alex Ippoliti, Katerina Fragkiadaki, Hao Liu, Deepak Pathak

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Comments Website: https://rent-rl.github.io/

RAST: Reasoning Activation in LLMs via Small-model Transfer

Siru Ouyang, Xinyu Zhu, Zilin Xiao, Minhao Jiang, Yu Meng, Jiawei Han

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Virginia（弗吉尼亚大学） ； Rice University（里德大学） ； GE HealthCare（通用电气医疗） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG