大模型推理能力

Future Policy Approximation for Offline Reinforcement Learning in LLM Reasoning

为离线强化学习未来政策近似改进数学推理

Minjae Oh, Yunho Choi, Dongmin Choi, Yohan Jo

机构 * Graduate School of Data Science, Seoul National University（首尔大学数据科学研究生院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出未来政策近似方法，通过估计未来策略来优化离线强化学习中的梯度更新，提升长周期推理任务的稳定性与准确性。

Comments 12 pages

SPADE: Self-Play in Adaptive Synthetic Executable Environments

SPADE：自适应合成可执行环境中的自博弈

Bo Liu, Simon Yu, Yiding Jiang, Ao Qu, Andrew Zhao, Zichen Liu, Junsu Kim, Zijian Zhou, Seungone Kim, Tongzheng Ren, Mickel Liu, Hanfei Yu, Zhaorun Chen, Weiyan Shi, Paul Pu Liang, Luke Zettlemoyer, Yejin Choi, Natasha Jaques

机构 * University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） ； Northeastern University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Massachusetts Institute of Technology（麻省理工学院） ； National University of Singapore（新加坡国立大学） ； Seoul National University（首尔大学） ； Stevens Institute of Technology（史蒂文斯理工学院） ； University of Chicago（芝加哥大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 SPADE是一种双角色自博弈强化学习框架，让单个LLM同时担任环境设计者与推理智能体，在多类基准上显著提升了语言智能体的性能，推动了开放式自我改进。

Comments Work in progress. Project page: this https URL (https://spade-rl.github.io); Code: this https URL (https://github.com/spade-rl/spade)

Approximate Speculative Decoding

近似投机解码

Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

专题命中 数学推理 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出无需训练的Approximate Speculative Decoding（ASD），通过带预算的最长前缀选择优化投机解码，提升了生成吞吐量与验证器接受率，且无需新草稿模型或微调。

SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD

SLAI T-Rex：在升腾超级集群上对DeepSeek-V4系列进行全参数训练后优化

Dongfang Li, Xiaodong Luo, Ruoyu Sun, Xuhui Chen, Linyuan Qiu, Jian Meng, Zhengxuan Lu, Yiting Wang, Yucheng Xie, Tao Guo, Tianxiang Fang, Jing Li, Sihang Chen, Shihao Hong, Chang Liu, Weihua Dai, Zirong Zeng, Ziwei Zhu, Zhuohan Wang, Zhengjun Yue, Igor Vasilyev, Min Liu, Weijian Sun, Xin Chen, Yingmeng Gao, Jinhua Zhou, Taolue Chen, Chenwei Wu, Dong Zhang, Wenlong Jin, Jinmin Xiang, Barkova Maria, Ushakov Anton, Xianfei Jin, Tian Ding, Zhihang Lin, Qian Chen, Linxin Yang, Mingzhe Yang, Bingwei Zhang, Hongzhang Yang, Fangxue Zhang, Shijun Qin, Jie Yu, Cuihua Hu, Tolstykh Vasiliy, Nosov Ivan, Abdullin Amir, Zhicheng Zhou, Xin Zhang, Zhixiong Ning, Xutong Zhao, Junjie Huang, Jiajun Liu, Weiyan Kong, Zheng Zhang, Wenhan Luo, Lin Hu, Yangbo Guo, Li Zeng, Shihao Zhang, Baotian Hu, Min Zhang, Haizhou Li, Zhiquan Luo

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对万亿参数规模MoE模型全参数训练后优化的系统挑战，在升腾NPU超级集群上以DeepSeek-V4为目标工作负载开发分层优化框架，建立CPT和SFT工作流程，提升模型性能，推动复杂推理前沿模型系统发展。

Comments 73 pages, 22 figures, 20 tables

Eureka: Task-Conditioned Meta-Agent Orchestration for Scientific Discovery

Eureka：面向科学发现的任务条件元智能体编排框架

Alizer Wong, Heng Cui, Yi Tan, Xiongchao Zhan, Liang Lin, Yuxiang Guo, Zhaorong Dai, Zixin Zeng, Wenyuan Li

机构 * ManXis（万熙科技（ManXis）） ； Guangdong University of Technology（广东工业大学） ； South China Normal University（华南师范大学） ； Shanghai Jiao Tong University（上海交通大学） ； Duke University（杜克大学） ； Hokkaido University（北海道大学） 纠错

专题命中 数学推理 ：planning(abstract)；分类 cs.AI

AI总结 该研究提出Eureka任务条件元智能体架构，通过动态编排完成科学发现任务，在递归任务、增量处理等实验中表现优异，还实现了数学领域的理论进展，证明科学智能体能力依赖匹配任务认知结构的架构。

Comments 62 pages, 1 figure