大模型推理能力

Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization

通过约束策略优化实现推理大语言模型的自适应推理时间计算分配

Zhiyuan Zhai, Bingcong Li, Bingnan Xiao, Ming Li, Xin Wang

机构 * Fudan University（复旦大学） ； ETH Zurich（苏黎世联邦理工学院） ； Guangming Lab（光明实验室） 纠错

专题命中 测试时计算 ：test-time compute(title,abstract)；reasoning(title,abstract)；分类 cs.LG

AI总结 本文提出通过约束优化问题解决推理时间计算分配问题，采用两阶段解决-学习流程，在解决阶段利用拉格朗日松弛分解全局约束，学习阶段训练轻量分类器预测 oracle 动作，实验证明方法在 MATH 和 GSM8K 数据集上优于均匀和启发式分配基线。

Dissecting Failure Dynamics in Large Language Model Reasoning

解析大语言模型推理中的故障动态

Wei Zhu, Jian Zhang, Lixing Yu, Kun Yue, Zhiwen Tang

机构 * School of Information Science and Engineering, Yunnan University, Kunming, China（云南大学信息科学与工程学院，昆明，中国） ； Yunnan Key Laboratory of Intelligent Systems and Computing, Kunming, China（云南省智能系统与计算重点实验室，昆明，中国） 纠错

专题命中 测试时计算 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示大语言模型推理错误多源于早期少量转换点，提出GUARD框架通过不确定性信号引导干预，提升推理可靠性。

Comments Accepted by ACL 2026

Deliberative Alignment is Deep, but Uncertainty Remains: Inference time safety improvement in reasoning via attribution of unsafe behavior to base model

深度对齐但不确定性依然存在：通过将不安全行为归因于基础模型来改进推理时间的安全性

Pankayaraj Pathmanathan, Furong Huang

机构 * University of Maryland College Park（马里兰大学学院市） 纠错

专题命中 测试时计算 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了对齐对语言模型安全性和通用性的影响，提出BoN采样方法将不安全行为归因于基础模型，减少多个安全基准的攻击成功率，同时保持实用性。

Large Language Model Post-Training: A Unified View of Off-Policy and On-Policy Learning

大语言模型后训练：一种统一的偏置学习与在线学习视角

Shiwan Zhao, Zhihu Wang, Xuyang Zhao, Jiaming Zhou, Caiyue Xu, Chenfei Liu, Liting Zhang, Yuhang Jia, Yanzhe Zhang, Hualong Yu, Zichen Xu, Qicheng Li, Yong Qin

机构 * Nankai University（南开大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨了大语言模型后训练的统一框架，通过轨迹溯源划分偏置学习与在线学习两种模式，分析了支持扩展、策略重塑和行为固化等核心方法，强调系统设计协调性对进展的重要性。

Comments 38 pages, 1 figure, 8 tables

LLMs Gaming Verifiers: RLVR can Lead to Reward Hacking

Lukas Helff, Quentin Delfosse, David Steinmann, Ruben Härle, Hikaru Shindo, Patrick Schramowski, Wolfgang Stammer, Kristian Kersting, Felix Friedrich

机构 * TU Darmstadt（图宾根大学） ； DFKI（德累斯顿人工智能研究所） ； Intrinsic ； Lab1141（Lab1141实验室） ； CERTAIN, Germany（德国CERTAIN） ； MPI-Inf, SIC（慕尼黑人工智能研究所） ； Meta 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3

模型能力主导：来自AIMO 3的推理时间优化启示

Natapong Nitarach

机构 * Proton 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 通过AIMO 3竞赛发现，多数投票多模型推理提升数学能力，但相关误差限制样本量。通过分配不同推理策略的Diverse Prompt Mixer方法显示，模型能力主导，优化效果有限。

Comments 18 pages, 6 figures, 10 tables. Kaggle AIMO 3 competition entry. Code and notebooks: https://github.com/nat-nischw/model-capability-dominates-lessons-aimo3

One RL to See Them All: Visual Triple Unified Reinforcement Learning

一个RL看尽一切：视觉三合一强化学习

Yan Ma, Linge Du, Xuyang Shen, Shaoxiang Chen, Pengfei Li, Qibing Ren, Lizhuang Ma, Yuchao Dai, Pengfei Liu, Junjie Yan

机构 * Qwen Team（通义实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 本文提出V-Triune方法，通过三个协调抽象提升多模态RL性能，开发Orsta模型在多个任务中表现优异，展示统一RL在视觉语言模型中的优势。

Comments Technical Report

Does RL Expand the Capability Boundary of LLM Agents? A PASS@(k,T) Analysis

强化学习是否扩展大语言模型代理的能力边界？一种PASS@(k,T)分析

Zhiyuan Zhai, Wenjing Yan, Xiaodan Shao, Xin Wang

机构 * Fudan University（复旦大学） ； Chinese University of Hong Kong（香港中文大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.LG

AI总结 本文通过PASS@(k,T)指标分析强化学习在代理工具使用中的能力扩展，发现其在复杂任务中确实扩大了能力边界，而静态推理中则趋于收敛。

Evo-MedAgent: Beyond One-Shot Diagnosis with Agents That Remember, Reflect, and Improve

Evo-MedAgent：超越单次诊断的具有记忆、反思和改进能力的代理

Weixiang Shen, Bailiang Jian, Jun Li, Che Liu, Johannes Moll, Xiaobin Hu, Daniel Rueckert, Hongwei Bran Li, Jiazhen Pan

机构 * Technical University of Munich（慕尼黑技术大学） ； TUM University Hospital（TUM大学医院） ； LMU Munich（慕尼黑大学） ； National University of Singapore（新加坡国立大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI

AI总结 Evo-MedAgent通过引入自我进化记忆模块，使医疗代理在测试时实现跨案例学习，提升多选题准确率，无需额外训练，适用于任何冻结模型。

SWE-TRACE: Optimizing Long-Horizon SWE Agents Through Rubric Process Reward Models and Heuristic Test-Time Scaling

SWE-TRACE：通过规则过程奖励模型和启发式测试时间缩放优化长 horizon SWE代理

Hao Han, Jin Xie, Xuehao Ma, Weiquan Zhu, Ziyao Zhang, ZhiLiang Long, Hongkai Chen, Qingwen Ye

专题命中 测试时计算 ：reasoning(abstract)

AI总结 本文提出SWE-TRACE框架，通过优化数据收集、强化学习和测试时间推理，提升SWE代理的长horizon推理能力，减少token消耗和推理延迟。

TennisTV: Do Multimodal Large Language Models Understand Tennis Rallies?

TennisTV: 多模态大语言模型能否理解网球发球？

Zhongyuan Bao, Lejun Zhang

机构 * New York University（纽约大学） ； Tandon School of Engineering（坦顿工程学院） ； Shanghai, China（上海，中国） ； New York, USA（纽约，美国） 纠错

专题命中 测试时计算 ：reasoning(abstract)

AI总结 TennisTV是首个全面评估网球视频理解的基准，通过模拟发球过程中的连续击球事件，评估17种大语言模型在网球视频理解中的表现，发现帧采样密度需平衡且需提升时间定位能力。