大模型推理能力

LLMs Gaming Verifiers: RLVR can Lead to Reward Hacking

Lukas Helff, Quentin Delfosse, David Steinmann, Ruben Härle, Hikaru Shindo, Patrick Schramowski, Wolfgang Stammer, Kristian Kersting, Felix Friedrich

机构 * TU Darmstadt（图宾根大学） ； DFKI（德累斯顿人工智能研究所） ； Intrinsic ； Lab1141（Lab1141实验室） ； CERTAIN, Germany（德国CERTAIN） ； MPI-Inf, SIC（慕尼黑人工智能研究所） ； Meta 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

Don't Overthink It: Inter-Rollout Action Agreement as a Free Adaptive-Compute Signal for LLM Agents

不要过度思考：跨回合动作一致性作为LLM代理的自由自适应计算信号

Khushal Sethi

机构 * Stanford University（斯坦福大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 TrACE通过测量跨回合动作一致性，实现LLM代理的自适应计算分配，无需训练或外部验证，在多步序列决策任务中提升效率和准确性。

UI-AGILE: Advancing GUI Agents with Effective Reinforcement Learning and Precise Inference-Time Grounding

UI-AGILE: 通过有效的强化学习和精确的推理时间接地提升GUI代理

Shuquan Lian, Yuhang Wu, Jia Ma, Yifan Ding, Zihan Song, Bingqi Chen, Xiawu Zheng, Hui Li, Rongrong Ji

机构 * Sino-Russian Research Center for Digital Economy（中俄数字经济研究中心） 纠错

专题命中 测试时计算 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 UI-AGILE通过改进监督微调过程和推理中的分解接地，提升了GUI代理的接地性能和通用能力，在ScreenSpot-Pro和ScreenSpot-v2基准上实现了最佳表现，地面准确率提升23%。

The Limits of Inference Scaling Through Resampling

通过重采样实现推理扩展的极限

Benedikt Stroebl, Sayash Kapoor, Arvind Narayanan

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究指出，重采样方法在验证器不完美时存在根本限制，无法降低误报率，从而限制了推理扩展的准确性，无论计算资源如何。

MobileIPL: Enhancing Mobile Agents Thinking Process via Iterative Preference Learning

MobileIPL: 通过迭代偏好学习增强移动代理的思维过程

Kun Huang, Weikai Xu, Yuxuan Liu, Quandong Wang, Pengzhi Gao, Wei Liu, Jian Luan, Bin Wang, Bo An

机构 * Xiaomi Inc.（小米公司） ； Nanyang Technological University（南洋理工大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（人民大学人工智能学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MobileIPL，通过迭代偏好学习构建CoaT树，结合规则奖励和反馈反向传播，提升移动代理在GUI任务中的推理能力与泛化能力。

Comments 9 pages, 8 figures, 7 tables

Multi-Agent Debate with Memory Masking

具有记忆掩码的多智能体辩论

Hongduan Tian, Xiao Feng, Ziyuan Zhao, Xiangyu Zhu, Rolan Yan, Bo Han

机构 * TMLR Group, Hong Kong Baptist University（香港 Baptist 大学 TMLR 团队） ； Search Algorithm Group, WeChat, Tencent（微信搜索算法团队，腾讯） 纠错

专题命中 测试时计算 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出MAD-M$^2$框架，通过在每轮辩论前屏蔽错误记忆以提升多智能体辩论的鲁棒性，实验证明其在数学和逻辑推理任务中表现更优。

Comments ICLR 2026

Form Follows Function: Recursive Stem Model

形式追随功能：递归茎模型

Navid Hakimi

专题命中 测试时计算 ：reasoning(abstract)；test-time compute(abstract)；分类 cs.AI、cs.LG

AI总结 递归茎模型通过改变训练方式，使网络学习稳定且深度无关的转移算子，从而提升训练效率和测试时的推理能力。

Comments 11 pages, 9 figures

Understanding the Role of Training Data in Test-Time Scaling

理解训练数据在测试时扩展中的作用

Adel Javanmard, Baharan Mirzasoleiman, Vahab Mirrokni

机构 * University of Southern California（南加州大学） ； Google Research（谷歌研究） ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；test-time compute(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了训练数据对测试时扩展性能的影响，发现增加计算量可减少上下文长度并提升模型表现，但若训练数据缺乏必要技能则可能损害性能。

Comments 25 pages, 5 figures, accepted in ICLR 2026

p-less Sampling: A Robust Hyperparameter-Free Approach for LLM Decoding

p-less采样：一种无需超参数的LLM解码方法

Runyan Tan, Shuang Wu, Phillip Howard

专题命中 测试时计算 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 p-less采样是一种无需超参数的LLM解码方法，通过动态截断阈值提高生成质量并减少温度对文本质量的影响。

Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching

通过奖励引导缝合实现扩散语言模型的测试时扩展

Roy Miles, Aysim Toker, Andreea-Maria Oncescu, Songcen Xu, Jiankang Deng, Ismail Elezi

机构 * Huawei London Research Center（华为伦敦研究中心） ； MVP Lab（MVP实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 通过奖励引导缝合实现扩散语言模型的测试时扩展，提升数学和编程任务的准确率并降低延迟

Ada-RS: Adaptive Rejection Sampling for Selective Thinking

Ada-RS: 选择性思维的自适应拒绝采样

Yirou Ge, Yixi Li, Alec Chiu, Shivani Shekhar, Zijie Pan, Avinash Thangali, Yun-Shiuan Chuang, Chaitanya Kulkarni, Uma Kona, Linsey Pang, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 Ada-RS通过自适应拒绝采样提升LLMs在延迟敏感场景下的推理效率与准确性。

X-Blocks: Linguistic Building Blocks of Natural Language Explanations for Automated Vehicles

X-Blocks: 自然语言解释的语义构建块用于自动驾驶车辆

Ashkan Y. Zadeh, Xiaomeng Li, Andry Rakotonirainy, Ronald Schroeter, Sebastien Glaser, Zishuo Zhu

机构 * Queensland University of Technology (QUT)（昆士兰科技大学） ； ARC Training Centre for Automated Vehicles in Rural and Remote Regions (AVR3)（农村和偏远地区自动化车辆培训中心） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 X-Blocks框架通过分层分析识别自动驾驶车辆自然语言解释的构建块，提供场景感知解释的设计原则，提升透明性和用户信任。

DPRM: A Dual Implicit Process Reward Model in Multi-Hop Question Answering

DPRM: 多跳问答任务中的双隐式过程奖励模型

Xinyi Wang, Yiping Song, Zhiliang Tian, Bo Liu, Tingjin Luo, Minlie Huang

专题命中 测试时计算 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 DPRM通过双隐式过程奖励模型提升多跳问答任务的推理准确性与一致性。

AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress

Zhiheng Xi, Chenyang Liao, Guanyu Li, Yajie Yang, Wenxiang Chen, Zhihao Zhang, Binghai Wang, Senjie Jin, Yuhao Zhou, Jian Guan, Wei Wu, Tao Ji, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 测试时计算 ：reasoning(abstract)；test-time compute(abstract)；分类 cs.CL、cs.LG

Comments Preprint

Trained on Tokens, Calibrated on Concepts: The Emergence of Semantic Calibration in LLMs

Preetum Nakkiran, Arwen Bradley, Adam Goliński, Eugene Ndiaye, Michael Kirchhof, Sinead Williamson

机构 * Apple（苹果公司） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

Rethinking Optimal Verification Granularity for Compute-Efficient Test-Time Scaling

Hao Mark Chen, Guanxi Lu, Yasuyuki Okoshi, Zhiwen Mo, Masato Motomura, Hongxiang Fan

机构 * Imperial College London, UK（伦敦帝国学院） ； Institute of Science Tokyo, Japan（东京科学研究所） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

Comments Accepted at NeurIPS 2025

Test-time Prompt Intervention

Chenxu Yang, Qingyi Si, Mz Dai, Dingyu Yao, Mingyu Zheng, Minghui Chen, Zheng Lin, Weiping Wang

专题命中 测试时计算 ：reasoning(abstract)；test-time compute(abstract)；分类 cs.CL、cs.AI

Comments 24 pages, 20 figures, under review

LASeR: Learning to Adaptively Select Reward Models with Multi-Armed Bandits

Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（杜克大学夏洛特分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.LG

Comments NeurIPS 2025 camera-ready. First two authors contributed equally. Code: https://github.com/duykhuongnguyen/LASeR-MAB

When to Reason: Semantic Router for vLLM

Chen Wang, Xunzhuo Liu, Yuhan Liu, Yue Zhu, Xiangxi Mo, Junchen Jiang, Huamin Chen

机构 * IBM Research（IBM研究院） ； Tencent（腾讯） ； University of Chicago（芝加哥大学） ； UC Berkeley（伯克利大学） ； Red Hat（红帽公司） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

Comments 5 pages, excluding references and appendix. To be appeared at Workshop on ML for Systems at NeurIPS 2025, December 6, 2025 https://mlforsystems.org/

World Modelling Improves Language Model Agents

Shangmin Guo, Omar Darwiche Domingues, Raphaël Avalos, Aaron Courville, Florian Strub

机构 * University of Edinburgh（爱丁堡大学） ； Cohere ； Vrije Universiteit Brussel（布鲁塞尔自由大学） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 测试时计算 ：planning(abstract)；test-time compute(abstract)；分类 cs.AI、cs.LG

Towards Robust Agentic CUDA Kernel Benchmarking, Verification, and Optimization

Robert Tjarko Lange, Qi Sun, Aaditya Prasad, Maxence Faldor, Yujin Tang, David Ha

专题命中 测试时计算 ：test-time compute(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

Comments 62 pages, 10 figures

A Statistical Framework of Watermarks for Large Language Models: Pivot, Detection Efficiency and Optimal Rules

Xiang Li, Feng Ruan, Huiyuan Wang, Qi Long, Weijie J. Su

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Northwestern University（西北大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.LG

Comments Accepted by Annals of Statistics

Journal ref Ann. Statist. 53(1): 322-351 (February 2025)

GenSelect: A Generative Approach to Best-of-N

Shubham Toshniwal, Ivan Sorokin, Aleksander Ficek, Ivan Moshkov, Igor Gitman

机构 * NVIDIA 纠错

专题命中 测试时计算 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.LG

Comments Presented at the 2nd AI for MATH Workshop @ ICML

Change of Thought: Adaptive Test-Time Computation

Mrinal Mathur, Mike Doan, Barak Pearlmutter, Sergey Plis

机构 * Google Research（谷歌研究） ； TReNDS Center, Georgia State University（TReNDS中心，佐治亚州立大学） ； Maynooth University（迈诺特大学） ； Georgia State University/Georgia Institute of Technology/Emory University Center for Translational Research in Neuroimaging and Data Science (TReNDS Center)（佐治亚州立大学/佐治亚理工学院/埃默里大学神经影像与数据科学转化研究中心（TReNDS中心）） ； Department of Computer Science, Maynooth University（迈诺特大学计算机科学系） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

Inference Scaled GraphRAG: Improving Multi Hop Question Answering on Knowledge Graphs

Travis Thompson, Seung-Hwan Lim, Paul Liu, Ruoying He, Dongkuan Xu

机构 * North Carolina State University（北卡罗来纳州立大学） ； Oak Ridge National Laboratory（奥本海默国家实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

Semantic uncertainty in advanced decoding methods for LLM generation

Darius Foodeei, Simin Fan, Martin Jaggi

机构 * EPFL, Lausanne Switzerland（日内瓦联邦理工学院） 纠错

专题命中 测试时计算 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Sample Complexity and Representation Ability of Test-time Scaling Paradigms

Baihe Huang, Shanda Li, Tianhao Wu, Yiming Yang, Ameet Talwalkar, Kannan Ramchandran, Michael I. Jordan, Jiantao Jiao

机构 * University of California, Berkeley（加州大学伯克利分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；self-correction(abstract)；分类 cs.AI、cs.LG

Guided by Gut: Efficient Test-Time Scaling with Reinforced Intrinsic Confidence

Amirhosein Ghasemabadi, Keith G. Mills, Baochun Li, Di Niu

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

Efficient Process Reward Model Training via Active Learning

Keyu Duan, Zichen Liu, Xin Mao, Tianyu Pang, Changyu Chen, Qiguang Chen, Michael Qizhe Shieh, Longxu Dou

专题命中 测试时计算 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

Comments 15 pages, 4 figures

Do We Need to Verify Step by Step? Rethinking Process Supervision from a Theoretical Perspective

Zeyu Jia, Alexander Rakhlin, Tengyang Xie

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG