大模型推理能力

LLaDA-MoE: A Sparse MoE Diffusion Language Model

Fengqi Zhu, Zebin You, Yipeng Xing, Zenan Huang, Lin Liu, Yihong Zhuang, Guoshan Lu, Kangyu Wang, Xudong Wang, Lanning Wei, Hongrui Guo, Jiaqi Hu, Wentao Ye, Tieyuan Chen, Chenchen Li, Chengfu Tang, Haibo Feng, Jun Hu, Jun Zhou, Xiaolu Zhang, Zhenzhong Lan, Junbo Zhao, Da Zheng, Chongxuan Li, Jianguo Li, Ji-Rong Wen

机构 * Renmin University of China（中国人民大学） ； Ant Group（蚂蚁集团） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Risk-Sensitive RL for Alleviating Exploration Dilemmas in Large Language Models

Yuhua Jiang, Jiawei Huang, Yufeng Yuan, Xin Mao, Yu Yue, Qianchuan Zhao, Lin Yan

机构 * Tsinghua University（清华大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

TreeRPO: Tree Relative Policy Optimization

Zhicheng Yang, Zhijiang Guo, Yinya Huang, Xiaodan Liang, Yiwei Wang, Jing Tang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； ETH AI Center, ETH Zurich（苏黎世联邦理工学院人工智能中心） ； University of California, Merced（加州大学梅德福分校） ； Sun Yat-sen University（中山大学） ； MBZUAI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments 13pages, 6 figures

FastGRPO: Accelerating Policy Optimization via Concurrency-aware Speculative Decoding and Online Draft Learning

Yizhou Zhang, Ning Lv, Teng Wang, Jisheng Dang

机构 * Lanzhou University（兰州大学） ； The University of Hong Kong（香港大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Submitted to ICLR 2026

Shadow-FT: Tuning Instruct Model via Training on Paired Base Model

Taiqiang Wu, Runming Yang, Jiayi Li, Pengfei Hu, Yik-Chung Wu, Ngai Wong, Yujiu Yang

机构 * The University of Hong Kong（香港大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 24 pages, 12 tables, 8 figures. Previous name: Shadow-FT: Tuning Instruct via Base

ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge

Zeinab Sadat Taghavi, Ali Modarressi, Yunpu Ma, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

The Validation Gap: A Mechanistic Analysis of How Language Models Compute Arithmetic but Fail to Validate It

Leonardo Bertolazzi, Philipp Mondorf, Barbara Plank, Raffaella Bernardi

机构 * DISI, University of Trento（特伦托大学DISI中心） ； MaiNLP, Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心） ； Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心） ； Free University of Bozen-Bolzano, Italy（博兹纳自由大学） 纠错

专题命中 数学推理 ：self-correction(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 Main, 38 pages, 33 figures

VCRL: Variance-based Curriculum Reinforcement Learning for Large Language Models

Guochao Jiang, Wenfeng Feng, Guofeng Quan, Chuzhan Hao, Yuewei Zhang, Guohua Liu, Hao Wang

机构 * Alibaba Cloud Computing（阿里云计算） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

ShinkaEvolve: Towards Open-Ended And Sample-Efficient Program Evolution

Robert Tjarko Lange, Yuki Imajuku, Edoardo Cetin

机构 * Sakana AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments 52 pages, 14 figures

Single-stream Policy Optimization

Zhongwen Xu, Zihan Ding

机构 * Tencent（腾讯） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

NGRPO: Negative-enhanced Group Relative Policy Optimization

Gongrui Nan, Siye Chen, Jing Huang, Mengyu Lu, Dexun Wang, Chunmei Xie, Weiqi Xiong, Xianzhou Zeng, Qixuan Zhou, Yadong Li, Xingzhong Xu

机构 * Ant Group Shanghai, China（蚂蚁集团上海） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Gödel Test: Can Large Language Models Solve Easy Conjectures?

Moran Feldman, Amin Karbasi

机构 * University of Haifa（海法大学） ； Cisco Foundation AI（思科基础人工智能） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning

Shiwan Zhao, Xuyang Zhao, Jiaming Zhou, Aobo Kong, Qicheng Li, Yong Qin

机构 * College of Computer Science, Nankai University（南开大学计算机科学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Generalizable Geometric Image Caption Synthesis

Yue Xin, Wenyuan Wang, Rui Pan, Ruida Wang, Howard Meng, Renjie Pi, Shizhe Diao, Tong Zhang

机构 * University of Illinois Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校） ； Shanghai Jiao Tong University（上海交通大学） ； Rutgers University（罗格斯大学） ； NVIDIA 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Can Vision-Language Models Solve Visual Math Equations?

Monjoy Narayan Choudhury, Junling Wang, Yifan Hou, Mrinmaya Sachan

机构 * IIIT Bangalore（班加罗尔印度理工学院） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Monjoy Narayan Choudhury and Junling Wang contributed equally to this work. Accepted at EMNLP2025 main. Code and datasets are open-sourced with links in the paper

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing

Self-Questioning Language Models

Lili Chen, Mihir Prabhudesai, Katerina Fragkiadaki, Hao Liu, Deepak Pathak

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Is Random Attention Sufficient for Sequence Modeling? Disentangling Trainable Components in the Transformer

Yihe Dong, Lorenzo Noci, Mikhail Khodak, Mufan Li

机构 * Princeton University（普林斯顿大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

LLMs cannot spot math errors, even when allowed to peek into the solution

KV Aditya Srivatsa, Kaushal Kumar Maurya, Ekaterina Kochmar

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫莫德·宾·扎耶德人工智能大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Accepted to EMNLP 2025

SWIRL: A Staged Workflow for Interleaved Reinforcement Learning in Mobile GUI Control

Quanfeng Lu, Zhantao Ma, Shuai Zhong, Jin Wang, Dahai Yu, Michael K. Ng, Ping Luo

机构 * The University of Hong Kong（香港大学） ； Hong Kong Baptist University（香港 Baptist 大学） ； TCL Corporate Research (Hong Kong) Co., Ltd（TCL 香港研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 28 pages, 12 figures

An Investigation on Group Query Hallucination Attacks

Kehao Miao, Xiaolong Jin

机构 * University of Science and Technology of China（中国科学技术大学） ； Purdue University（帕克大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

The Computational Complexity of Satisfiability in State Space Models

Eric Alsmann, Martin Lange

机构 * University of Kassel, Germany（卡塞尔大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Accepted at ECAI 25

Test-Time Scaling Strategies for Generative Retrieval in Multimodal Conversational Recommendations

Hung-Chun Hsu, Yuan-Ching Kuo, Chao-Han Huck Yang, Szu-Wei Fu, Hanrong Ye, Hongxu Yin, Yu-Chiang Frank Wang, Ming-Feng Tsai, Chuan-Ju Wang

机构 * Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究所以） ； NVIDIA（NVIDIA公司） ； Department of Computer Science, National Chengchi University（国立政治大学计算机科学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

Haojie Zhang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments 8 pages

Evaluating Contrast Localizer for Identifying Causal Units in Social & Mathematical Tasks in Language Models

Yassine Jamaa, Badr AlKhamissi, Satrajit Ghosh, Martin Schrimpf

机构 * EPFL（苏黎世联邦理工学院） ； MIT（麻省理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Accepted at the Interplay of Model Behavior and Model Internals Workshop co-located with COLM 2025

WST: Weak-to-Strong Knowledge Transfer via Reinforcement Learning

Haosen Ge, Shuo Li, Lianghuan Huang

机构 * Wharton AI & Analytics Initiative（沃顿人工智能与分析倡议） ； University of Pennsylvania（宾夕法尼亚大学） ； Department of Computer and Information Science（计算机与信息科学系） ； Department of Physics and Astronomy（物理学与天文学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding

Jiajun Zhu, Peihao Wang, Ruisi Cai, Jason D. Lee, Pan Li, Zhangyang Wang

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Zhejiang University（浙江大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments ICML 2025

DuPO: Enabling Reliable LLM Self-Verification via Dual Preference Optimization

Shuaijie She, Yu Bao, Yu Lu, Lu Xu, Tao Li, Wenhao Zhu, Shujian Huang, Shanbo Cheng, Lu Lu, Yuxuan Wang

机构 * Nanjing University（南京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments 18 pages, 4 figures,

Apriel-Nemotron-15B-Thinker

Shruthan Radhakrishna, Soham Parikh, Gopal Sarda, Anil Turkkan, Quaizar Vohra, Raymond Li, Dhruv Jhamb, Kelechi Ogueji, Aanjaneya Shukla, Oluwanifemi Bamgbose, Toby Liang, Luke Kumar, Oleksiy Ostapenko, Shiva Krishna Reddy Malay, Aman Tiwari, Tara Bogavelli, Vikas Yadav, Jash Mehta, Saloni Mittal, Akshay Kalkunte, Pulkit Pattnaik, Khalil Slimi, Anirudh Sreeram, Jishnu Nair, Akintunde Oladipo, Shashank Maiya, Khyati Mahajan, Rishabh Maheshwary, Masoud Hashemi, Sai Rajeswar Mudumba, Sathwik Tejaswi Madhusudhan, Torsten Scholak, Sebastien Paquet, Sagar Davasam, Srinivas Sunkara

机构 * Apriel-Nemotron-15B-Thinker 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

ASPD: Unlocking Adaptive Serial-Parallel Decoding by Exploring Intrinsic Parallelism in LLMs

Keyu Chen, Zhifeng Shen, Daohai Yu, Haoqian Wu, Wei Wen, Jianfeng He, Ruizhi Qiao, Xing Sun

机构 * Youtu Team（你Tube团队） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 20 pages, 9 figures

CLoQ: Enhancing Fine-Tuning of Quantized LLMs via Calibrated LoRA Initialization

Yanxia Deng, Aozhong Zhang, Selcuk Gurses, Naigang Wang, Zi Yang, Penghang Yin

机构 * Department of Mathematics and Statistics（数学与统计学系） ； University at Albany, SUNY（阿尔巴尼大学） ； IBM T. J. Watson Research Center（IBM 塔沃森研究中心） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Journal ref Transactions on Machine Learning Research (TMLR), 2025