大模型推理能力

Encoder-Decoder Diffusion Language Models for Efficient Training and Inference

Marianne Arriola, Yair Schiff, Hao Phung, Aaron Gokaslan, Volodymyr Kuleshov

机构 * Department of Computer Science, Cornell University（计算机科学系，康奈尔大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025. We provide the code at https://github.com/kuleshov-group/e2d2

VEHME: A Vision-Language Model For Evaluating Handwritten Mathematics Expressions

Thu Phuong Nguyen, Duc M. Nguyen, Hyotaek Jeon, Hyunwook Lee, Hyunmin Song, Sungahn Ko, Taehwan Kim

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments EMNLP 2025. Project Website: https://vehme.github.io/

Evolving LLMs' Self-Refinement Capability via Synergistic Training-Inference Optimization

Yongcheng Zeng, Xinyu Cui, Xuanfa Jin, Qirui Mi, Guoqing Liu, Zexu Sun, Mengyue Yang, Dong Li, Weiyu Ma, Ning Yang, Jian Zhao, Jianye Hao, Haifeng Zhang, Jun Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； University of Science and Technology of China（中国科学技术大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿家庄人工智能学院） ； University of Bristo, UK（英国布里斯托大学） ； Zhongguancun Academy, China（中关村学院） ； Huawei Noah’s Ark Lab, China（华为诺亚实验室） ； University College London, UK（伦敦大学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Electronic Circuit Principles of Large Language Models

Qiguang Chen, Libo Qin, Jinhao Liu, Dengyun Peng, Jiaqi Wang, Mengkang Hu, Zhi Chen, Wanxiang Che, Ting Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Central South University（中南大学） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； ByteDance Seed (China)（字节跳动种子（中国）） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Manuscript

Teaching Language Models to Reason with Tools

Chengpeng Li, Zhengyang Tang, Ziniu Li, Mingfeng Xue, Keqin Bao, Tian Ding, Ruoyu Sun, Benyou Wang, Xiang Wang, Junyang Lin, Dayiheng Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Inc.（阿里巴巴公司） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments NIPS2025 Accepted

Learning Modular Exponentiation with Transformers

David Demitri Africa, Sara M. Kapoor, Theo Simon Sorg, Challenger Mishra

机构 * Department of Computer Science and Technology（计算机科学与技术系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Accepted at the 5th MATH-AI Workshop, NeurIPS'25

Large Language Model enabled Mathematical Modeling

Guoyun Zhang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Local Coherence or Global Validity? Investigating RLVR Traces in Math Domains

Soumya Rani Samineni, Durgesh Kalwar, Vardaan Gangal, Siddhant Bhambri, Subbarao Kambhampati

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments 4 pages, 2 figures

CLAWS:Creativity detection for LLM-generated solutions using Attention Window of Sections

Keuntae Kim, Eunhye Jeong, Sehyeon Lee, Seohee Yoon, Yong Suk Choi

机构 * Department of Computer Science（计算机科学系） ； Department of Artificial Intelligence（人工智能系） ； Department of Future Mobility（未来移动部门） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2025

Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations

Tong Chen, Akari Asai, Luke Zettlemoyer, Hannaneh Hajishirzi, Faeze Brahman

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI (Ai2)（人工智能研究院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Market-Driven Subset Selection for Budgeted Training

Ashish Jha, Valentin Leplat, AH Phan

机构 * Skolkovo Institute of Science and Technology（斯克洛夫诺科学与技术研究所） ； Innopolis University（因诺波利斯大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Retitled major revision of the same work (formerly "Market-Based Data Subset Selection -- Principled Aggregation of Multi-Criteria Example Utility"). Abstract and exposition revised; ablations added; theory clarified. Core results unchanged. Supersedes v1; please process as a replacement

VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use

Dongfu Jiang, Yi Lu, Zhuofeng Li, Zhiheng Lyu, Ping Nie, Haozhe Wang, Alex Su, Hui Chen, Kai Zou, Chao Du, Tianyu Pang, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； Sea AI Lab（Sea AI 实验室） ； University of Toronto（多伦多大学） ； Shanghai University（上海大学） ； HKUST（香港科技大学） ； M-A-P ； National University of Singapore（新加坡国立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 32 pages, 5 figures, 13 tables

PAFT: Prompt-Agnostic Fine-Tuning

Chenxing Wei, Yao Shu, Mingwen Ou, Ying Tiffany He, Fei Richard Yu

机构 * College of Computer Science and Software Engineering, Shenzhen University, China（深圳大学计算机科学与软件工程学院） ； Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院） ； Guangdong Lab of AI and Digital Economy (SZ), China（广东人工智能与数字经济实验室（深圳）） ； Hong Kong University of Science and Technology (Guangzhou), China（香港科技大学（广州）） ； School of Information Technology, Carleton University, Canada（卡尔顿大学信息科技学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 24 pages, 9 figures

TopoAlign: A Framework for Aligning Code to Math via Topological Decomposition

Yupei Li, Philipp Borchert, Gerasimos Lampouras

机构 * Imperial College London（帝国学院伦敦分校） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

QeRL: Beyond Efficiency -- Quantization-enhanced Reinforcement Learning for LLMs

Wei Huang, Yi Ge, Shuai Yang, Yicheng Xiao, Huizi Mao, Yujun Lin, Hanrong Ye, Sifei Liu, Ka Chun Cheung, Hongxu Yin, Yao Lu, Xiaojuan Qi, Song Han, Yukang Chen

机构 * NVIDIA ； MIT（麻省理工学院） ； HKU（香港大学） ； THU（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments Code is available at https://github.com/NVlabs/QeRL

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model

Prasanna Mayilvahanan, Ricardo Dominguez-Olmedo, Thaddäus Wiedemer, Wieland Brendel

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

The Hidden Link Between RLHF and Contrastive Learning

Xufei Lv, Kehai Chen, Haoyuan Sun, Xuefeng Bai, Min Zhang, Houde Liu, Kehai Chen

机构 * Tsinghua University（清华大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Soochow University（苏州大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Training Long-Context, Multi-Turn Software Engineering Agents with Reinforcement Learning

Alexander Golubev, Maria Trofimova, Sergei Polezhaev, Ibragim Badertdinov, Maksim Nekrashevich, Anton Shevtsov, Simon Karasik, Sergey Abramov, Andrei Andriushchenko, Filipp Fisin, Sergei Skvortsov, Boris Yangel

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

P2P: A Poison-to-Poison Remedy for Reliable Backdoor Defense in LLMs

Shuai Zhao, Xinyi Wu, Shiqian Zhao, Xiaobao Wu, Zhongliang Guo, Yanhao Jia, Anh Tuan Luu

机构 * Nanyang Technological University, Singapore（南洋理工大学） ； Shanghai Jiao Tong University, Shanghai, China（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

H1B-KV: Hybrid One-Bit Caches for Memory-Efficient Large Language Model Inference

Harshil Vejendla

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments MIT URTC 2025 Technical Paper (Oral), 5 pages, 1 figure

OptimalThinkingBench: Evaluating Over and Underthinking in LLMs

Pranjal Aggarwal, Seungone Kim, Jack Lanchantin, Sean Welleck, Jason Weston, Ilia Kulikov, Swarnadeep Saha

机构 * FAIR at Meta（Meta 的 FAIR 研究院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments 30 pages, 10 tables, 11 figures

QuIC: Quantum-Inspired Compound Adapters for Parameter Efficient Fine-Tuning

Snehal Raj, Brian Coyle

机构 * QC Ware（QC公司） ； LIP6, CNRS, Sorbonne Université（LIP6、CNRS、索邦大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments 30 pages, 12 figures, 7 tables, ~8000 words

OR-Toolformer: Modeling and Solving Operations Research Problems with Tool Augmented Large Language Models

Jianzhang Zhang, Jialong Zhou, Chuang Liu

机构 * Alibaba Business School（阿里巴巴商业学院） ； Hangzhou Normal University（杭州师范大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Prompt Curriculum Learning for Efficient LLM Post-Training

Zhaolin Gao, Joongwon Kim, Wen Sun, Thorsten Joachims, Sid Wang, Richard Yuanzhe Pang, Liang Tan

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Cornell University（康奈尔大学） ； University of Washington（华盛顿大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

RiskPO: Risk-based Policy Optimization via Verifiable Reward for LLM Post-Training

Tao Ren, Jinyang Jiang, Hui Yang, Wan Tian, Minhao Zou, Guanghao Li, Zishi Zhang, Qinghao Wang, Shentao Qin, Yanjun Zhao, Rui Tao, Hui Shao, Yijie Peng

机构 * Peking University（北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Scaling Linear Attention with Sparse State Expansion

Yuqi Pan, Yongqi An, Zheng Li, Yuhong Chou, Ruijie Zhu, Xiaohui Wang, Mingxuan Wang, Jinqiao Wang, Guoqi Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

MMGeoLM: Hard Negative Contrastive Learning for Fine-Grained Geometric Understanding in Large Multimodal Models

Kai Sun, Yushi Bai, Zhen Yang, Jiajie Zhang, Ji Qi, Lei Hou, Juanzi Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

机构 * Meta Superintelligence Labs（Meta 超智能实验室） ； University of Oxford（牛津大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Project page: https://junlinhan.github.io/projects/lsbs/

Clarification as Supervision: Reinforcement Learning for Vision-Language Interfaces

John Gkountouras, Ivan Titov

机构 * ILLC, University of Amsterdam（伊拉斯谟范例学院、阿姆斯特丹大学） ； ILCC, University of Edinburgh（爱丁堡大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Ban&Pick: Ehancing Performance and Efficiency of MoE-LLMs via Smarter Routing

Yuanteng Chen, Peisong Wang, Yuantian Shao, Nanxin Zeng, Chang Xu, Jian Cheng

机构 * Nanjing University of Science and Technology（南京理工大学） ； C 2 \text{C}^{2} DL, Institute of Automation, Chinese Academy of Sciences（C2 DL，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Computer Science, University of Sydney（悉尼大学计算机学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments 21 pages, 9 figures