大模型推理能力

The Last Word Often Wins: A Format Confound in Chain-of-Thought Corruption Studies

最后的答案往往获胜：链式思维腐败研究中的格式混淆

Gabriel Garcia

机构 * Independent Researcher（独立研究者） 纠错

专题命中 数学推理 ：chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究揭示链式思维腐败测试中，最终答案的位置影响准确性，而非中间计算步骤，提出新的研究协议以避免格式混淆。

Comments 34 pages, 6 figures, 13 tables. Submitted to NeurIPS 2026. Code and data: https://github.com/Gpgabriel25/LastWordWinsCoT

Asking the Right Questions: Improving Reasoning with Generated Stepping Stones

问对问题：通过生成的中间步骤提升推理能力

Hengyuan Hu, Tingchen Fu, Minqi Jiang, Alexander H Miller, Yoram Bachrach, Jakob Nicolaus Foerster

机构 * FAIR at Meta（Meta的FAIR） ； Stanford University（斯坦福大学） ； University of Oxford（牛津大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文研究了生成中间步骤对提升LLM推理能力的作用，提出ARQ框架通过生成问题增强推理过程，展示了生成问题的有效性和训练方法。

Stabilizing Knowledge, Promoting Reasoning: Dual-Token Constraints for RLVR

稳定知识，促进推理：双令牌约束用于RLVR

Jiakang Wang, Runze Liu, Fuzheng Zhang, Xiu Li, Guorui Zhou, Ling Pan

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Kuaishou Technology（快手科技） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出Archer框架，通过双令牌约束在RLVR中平衡优化，提升LLM的推理和知识保持能力，实验显示在数学推理和代码生成任务中表现优异。

GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

GRLO：从零开始在开放环境中的通用强化学习

Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GRLO研究从少量交互数据中训练的RLHF在开放环境中的泛化能力，探索其对话能力是否能迁移至数学推理和代码生成等下游任务，展示出高效且低成本的训练方法。

Antidistillation Fingerprinting

对抗蒸馏指纹

Yixuan Even Xu, John Kirchenbauer, Yash Savani, Asher Trockman, Alexander Robey, Tom Goldstein, Fei Fang, J. Zico Kolter

机构 * Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学） ； University of Maryland, College Park, MD, USA（马里兰大学学院市分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出对抗蒸馏指纹方法，通过代理模型识别并采样最大化指纹检测性的token，提升检测效果同时减少对模型性能的影响。

Comments 28 pages, 13 figures, ICML 2026

Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR

走出舒适区：为RLVR的高效策略引导探索

Chanuk Lee, Sangwoo Park, Minki Kang, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出NudgeRL框架，通过策略引导实现结构化和多样性探索，提升RLVR在数学基准上的表现，相比标准GRPO和oracle引导方法更高效。

Comments 28 pages, 7 figures

VSPO: Vector-Steered Policy Optimization for Behavioral Control

VSPO：用于行为控制的向量引导策略优化

Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

机构 * University of Michigan（密歇根大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 VSPO通过引入与目标行为关联的引导向量，控制生成轨迹的行为强度，解决多目标优化中的稀疏奖励问题，提升策略优化效率。

AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs

AstraFlow：面向代理大语言模型的数据流强化学习

Haizhong Zheng, Yizhuo Di, Jiahui Wang, Shuowei Jin, Xueshen Liu, Yongji Wu, Z. Morley Mao, Ion Stoica, Jiawei Zhao, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan（密歇根大学） ； UC Berkeley（加州大学伯克利分校） ； Meta 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 AstraFlow通过数据流导向的强化学习系统，实现复杂多策略协作训练和高效利用异构计算资源，提升代理LLM的推理与工具使用能力。

Neural Activation Patterns Across Language Model Architectures: A Comprehensive Analysis of Cognitive Task Performance

神经激活模式在语言模型架构中的跨分析：对认知任务性能的全面研究

Mahdi Naser-Moghadasi, Faezeh Ghaderi

机构 * Research Division, BrightMind AI（BrightMind AI 研究部） ； Texas Tech University（德克萨斯理工大学） ； University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文分析了六种大型语言模型架构在十二种认知任务上的神经激活模式，揭示了编码器和解码器架构在处理不同任务时的差异，发现数学推理产生最高注意力熵，解码器模型在稀疏性上更高。

Comments 8 pages, accepted at IEEE BigData 2025

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

ActiveDPO: 用于高效对齐的主动直接偏好优化

Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联盟研究技术中心） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 ActiveDPO通过理论支撑的非线性奖励函数选择方法，利用LLM自身参数化奖励模型，提升对齐效率和数据收集效果。

Comments Accepted at ICLR 2026

Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs

超越基准：MathArena作为LLMs数学评估平台

Jasper Dekoninck, Nikola Jovanović, Tim Gehrunger, Kári Rögnvaldsson, Ivo Petrov, Chenhao Sun, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） ； INSAIT 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出MathArena作为持续维护的数学评估平台，涵盖广泛任务，展示前沿模型在数学推理中的进步。

T2T-LA: A Topology-to-Topology LLM Agent for Graph Learning with Neither Feature Access nor Task Knowledge

T2T-LA：一种用于图学习的拓扑到拓扑LLM代理，无需特征访问或任务知识

Yongyu Wang

机构 * MTU（MTU大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出T2T-LA，一种无需特征访问或任务知识的拓扑到拓扑LLM代理，通过学习失败拓扑与评分之间的关系，实现图学习中的拓扑推理。

ICRL: Learning to Internalize Self-Critique with Reinforcement Learning

ICRL: 通过强化学习学习内化自我批评

Jianbo Lin, Xiaomin Yu, Yi Xin, Yifu Guo, Zhuosong Jiang, Zhongqi Yue, Weishi Wang, Heqing Zou, Chengwei Qin, Hui Xiong

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanjing University（南京大学） ； Sun Yat-sen University（中山大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； SAP ； Microsoft Research（微软研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出ICRL框架，通过联合训练求解器和批评者，使求解器在无外部批评时也能自我改进，提升代理和数学推理任务性能。