大模型推理能力

Causal Head Gating: A Framework for Interpreting Roles of Attention Heads in Transformers

Andrew Nam, Henry Conklin, Yukang Yang, Thomas Griffiths, Jonathan Cohen, Sarah-Jane Leslie

机构 * Princeton Laboratory for AI Natural and Artificial Minds（普林斯顿人工智能实验室） ； Princeton University（普林斯顿大学） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Department of Psychology（心理学系） ； Princeton Neuroscience Institute（普林斯顿神经科学研究所） ； Department of Philosophy（哲学系） ； Center for Statistics and Machine Learning（统计与机器学习中心） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Comments 10 pages, 5 figures, 2 tables. The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025)

Lookahead Routing for Large Language Models

Canbin Huang, Tianyuan Shi, Yuhua Zhu, Ruijun Chen, Xiaojun Quan

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院） ； Shenzhen Loop Area Institute, China（深圳环湖研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Geometric-Mean Policy Optimization

Yuzhong Zhao, Yue Liu, Junpeng Liu, Jingye Chen, Xun Wu, Yaru Hao, Tengchao Lv, Shaohan Huang, Lei Cui, Qixiang Ye, Fang Wan, Furu Wei

机构 * UCAS（中国科学院大学） ； CUHK（香港中文大学） ； HKUST（香港科技大学） ； Microsoft Research（微软研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments Code is available at https://github.com/callsys/GMPO

O-Forge: An LLM + Computer Algebra Framework for Asymptotic Analysis

Ayush Khaitan, Vijay Ganesh

机构 * Rutgers University（罗格斯大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 数学推理 ：verifier(abstract)；分类 cs.AI

Iterative LLM-Based Generation and Refinement of Distracting Conditions in Math Word Problems

Kaiqi Yang, Hang Li, Yucheng Chu, Zitao Liu, Mi Tian, Hui Liu

机构 * Michigan State University（密歇根州立大学） ； Jinan University（济南大学） ； TAL Education Group（TAL教育集团） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

CARVQ: Corrective Adaptor with Group Residual Vector Quantization for LLM Embedding Compression

Dayin Gou, Sanghyun Byun, Nilesh Malpeddi, Gabrielle De Micheli, Prathamesh Vaste, Jacob Song, Woo Seong Chung

机构 * LG Electronics USA（LG电子美国公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

Comments Accepted at EMNLP Findings 2025

RAG-Anything: All-in-One RAG Framework

Zirui Guo, Xubin Ren, Lingrui Xu, Jiahao Zhang, Chao Huang

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Large Language Models in Operations Research: Methods, Applications, and Challenges

Yang Wang, Kai Li

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Can Graph Descriptive Order Affect Solving Graph Problems with LLMs?

Yuyao Ge, Shenghua Liu, Baolong Bi, Yiwei Wang, Lingrui Mei, Wenjie Feng, Lizhe Chen, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） ； SAIDS, University of Science and Technology of China（中国科学技术大学SAIDS） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Comments Accepted to ACL 2025 main conference

Reducing Cognitive Overhead in Tool Use via Multi-Small-Agent Reinforcement Learning

Dayu Wang, Jiaye Yang, Weikang Li, Jiahui Liang, Yang Li

机构 * Baidu Inc.（百度公司） ； Peking University（北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

DARO: Difficulty-Aware Reweighting Policy Optimization

Jingyu Zhou, Lu Ma, Hao Liang, Chengyu Shen, Bin Cui, Wentao Zhang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

MASA: LLM-Driven Multi-Agent Systems for Autoformalization

Lan Zhang, Marco Valentino, André Freitas

机构 * Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） ； Idiap Research Institute（Idiap研究 institute） ； National Biomarker Centre, CRUK Manchester Institute（国家生物标志物中心，CRUK曼彻斯特研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments EMNLP 2025 Demo camera-ready. Code and data are available at: https://github.com/lanzhang128/multi_agent_autoformalization

Don't Waste Mistakes: Leveraging Negative RL-Groups via Confidence Reweighting

Yunzhen Feng, Parag Jain, Anthony Hartshorn, Yaqi Duan, Julia Kempe

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； New York University（纽约大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

Training-Free Group Relative Policy Optimization

Yuzheng Cai, Siqi Cai, Yuchen Shi, Zihan Xu, Lichao Chen, Yulei Qin, Xiaoyu Tan, Gang Li, Zongyi Li, Haojia Lin, Yong Mao, Ke Li, Xing Sun

机构 * Tencent（腾讯） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

HySim-LLM: Embedding-Weighted Fine-Tuning Bounds and Manifold Denoising for Domain-Adapted LLMs

Majid Jaberi-Douraki, Hossein Sholehrasa, Xuan Xu, Remya Ampadi Ramachandran

机构 * DATA Consortium and FARAD Program, Kansas State University, Olathe, KS, USA（DATA Consortium和FARAD计划，堪萨斯州立大学） ； Department of Mathematics, Kansas State University, Olathe, KS, USA（数学系，堪萨斯州立大学） ； Department of Computer Science, Kansas State University, Manhattan, KS, USA（计算机科学系，堪萨斯州立大学） ； Department of Statistics, Kansas State University, Olathe, KS, USA（统计学系，堪萨斯州立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

$λ$-GRPO: Unifying the GRPO Frameworks with Learnable Token Preferences

Yining Wang, Jinman Zhao, Chuangxin Zhao, Shuhao Guan, Gerald Penn, Shinan Liu

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments 9 pages

VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization

Dingyu Yao, Chenxu Yang, Zhengyang Tong, Zheng Lin, Wei Liu, Jian Luan, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； MiLM Plus, Xiaomi Inc（小米公司MiLM Plus） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

MathVC: An LLM-Simulated Multi-Character Virtual Classroom for Mathematics Education

Murong Yue, Wenhan Lyu, Jennifer Suh, Yixuan Zhang, Ziyu Yao

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 数学推理 ：planning(abstract)；分类 cs.CL

Comments Accepted by AAAI 2025 workshop

SPOGW: a Score-based Preference Optimization method via Group-Wise comparison for workflows

Yitong Cui, Liu Liu, Baosheng Yu, Jiayan Qiu, Xikai Zhang, Likang Xiao, Yixing Liu, Quan Chen

机构 * Hangzhou International Innovation Institute and , Beihang University（杭州国际创新研究院和 北航） ； School of Artificial Intelligence, Beihang University（人工智能学院，北航） ； Nanyang Technological University（南洋理工大学） ； University of Leicester（莱斯特大学） ； China Mobile Communications Company Limited Research Institute（中国移动通信有限公司研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Sample, Align, Synthesize: Graph-Based Response Synthesis with ConGrs

Sayan Ghosh, Shahzaib Saqib Warraich, Dhruv Tarsadiya, Gregory Yauney, Swabha Swayamdipta

机构 * University of Southern California（南加州大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Exploiting Tree Structure for Credit Assignment in RL Training of LLMs

Hieu Tran, Zonghai Yao, Hong Yu

机构 * Center for Healthcare Organization and Implementation Research, VA Bedford Health Care（VA Bedford Health Care 机构） ； Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院） ； Miner School of Computer and Information Sciences, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校计算机与信息科学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments 15 pages

Syntactic Blind Spots: How Misalignment Leads to LLMs Mathematical Errors

Dane Williamson, Yangfeng Ji, Matthew Dwyer

机构 * Department of Computer Science（计算机科学系） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments 14 pages, 5 Tables, 9 Figures; Accepted to MathNLP 2025: The 3rd Workshop on Mathematical Natural Language Processing (co-located with EMNLP 2025)

A Comparative Analysis of Sparse Autoencoder and Activation Difference in Language Model Steering

Jiaqing Xie

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments 25 pages

Communication-Efficient and Accurate Approach for Aggregation in Federated Low-Rank Adaptation

Le-Tuan Nguyen, Minh-Duong Nguyen, Seon-Geun Jeong, Dung D. Le, Quoc-Viet Pham

机构 * VinUniversity（文大学） ； Trinity College Dublin（三一学院都柏林） ； Pusan National University（釜山国立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Comments 34 pages, 4 figures, 11 tables

Enhancing Rating Prediction with Off-the-Shelf LLMs Using In-Context User Reviews

Koki Ryu, Hitomi Yanaka

机构 * The University of Tokyo（东京大学） ； Riken（理化学研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025 PALS Workshop

Winning Gold at IMO 2025 with a Model-Agnostic Verification-and-Refinement Pipeline

Yichen Huang, Lin F. Yang

机构 * Department of Electrical and Computer Engineering, and Department of Computer Science, UCLA（电气与计算机工程系和计算机科学系， UCLA） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Reinforcement Mid-Training

Yijun Tian, Shaoyu Chen, Zhichao Xu, Yawei Wang, Jinhe Bi, Peng Han, Wei Wang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Which Words Matter Most in Zero-Shot Prompts?

Nikta Gohari Sadr, Sangmitra Madhusudan, Hassan Sajjad, Ali Emami

机构 * Brock University（布罗克大学） ； Dalhousie University（达尔豪斯大学） ； Emory University（埃默里大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments 8 pages (excluding references)

Mixture of Thoughts: Learning to Aggregate What Experts Think, Not Just What They Say

Jacob Fein-Ashley, Dhruv Parikh, Rajgopal Kannan, Viktor Prasanna

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

Solving Math Word Problems Using Estimation Verification and Equation Generation

Mitchell Piehl, Dillon Wilson, Ananya Kalita, Jugal Kalita

机构 * Computer Science University of Iowa（计算机科学 威斯康星大学） ； Computer Science University of Colorado（计算机科学 色达省大学） ； Foster School of Business University of Washington（福斯特商学院 威斯康星大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Comments Accepted to IEEE ICMLA 2025