语言大模型 / LLM

Reinforcement Learning for LLM Post-Training: A Survey

为大型语言模型进行后训练的强化学习：综述

Zhichao Wang, Kiran Ramnath, Bin Bi, Shiva Kumar Pentyala, Sougata Chaudhuri, Shubham Mehrotra, Zixu, Zhu, Xiang-Bo Mao, Sitaram Asur, Na, Cheng

机构 * Salesforce ； AWS AI Labs ； Airbnb 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(summary_cn,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)

AI总结 本文综述了通过强化学习进行大型语言模型后训练的方法，分析了RLHF和RLVR等技术，并提出统一的策略梯度框架，旨在为研究人员提供技术参考。

R2V Agent: Teaching SLMs When to Ask for Help

R2V Agent：教SLMs何时请求帮助

Raghu Vamshi Hemadri, Humaira Firdowse Mohammed, Rishabh Maheshwary, Srivatsava Daruru, Sagar Davasam, Vikas Yadav, Srinivas Sunkara, Sai Rajeswar

机构 * New York University Tandon School of Engineering（纽约大学Tandon工程学院） ； University of California, San Diego（加州大学圣地亚哥分校） ； Stanford University（斯坦福大学） ； ServiceNow Research（ServiceNow研究） ； Mila - Quebec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；SLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)

AI总结 R2V-Agent通过风险校准的SLM-LLM路由框架提升交互代理的可靠性，结合小型语言模型策略、更强的教师LLM、轻量级过程验证器和校准的步骤路由器，在多个基准测试中显著提升性能与成本效率。

Beyond RLHF: A Unified Theoretical Framework of Alignment

超越RLHF：对齐的统一理论框架

Jihun Yun, Juno Kim, Jongho Park, Junhyuck Kim, Jongha Jon Ryu, Jaewoong Cho, Kwang-Sung Jun

机构 * KRAFTON ； UC Berkeley（加州大学伯克利分校） ； MIT（麻省理工学院） ； POSTECH 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种统一的对齐理论框架，通过将对齐视为基于成对偏好的分布学习，推导出三种新的对齐目标，并证明了它们在非渐近情况下具有O(1/n)的收敛性，为RLHF提供了理论支持。

How Off-Policy Can GRPO Be? Mu-GRPO for Efficient LLM Reinforcement Learning

GRPO在离线策略下的可能性：Mu-GRPO用于高效的大语言模型强化学习

Minghao Tian, Yunfei Xie, Chen Wei

机构 * Rice University（里士大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了GRPO在离线策略下的可行性，提出Mu-GRPO方法，通过减少rollout-optimization切换开销，实现高效的LLM强化学习，同时在多个基准测试中表现出色。

PropGuard: Safeguarding LLM-MAS via Propagation-Aware Exploration and Remediation

PropGuard: 通过传播感知探索与修复保障LLM-MAS

Bingyu Yan, Xiaoming Zhang, Jinyu Hou, Chaozhuo Li, Ziyi Zhou, Xiaozhe Zhang, Litian Zhang

机构 * Beihang University（北航） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 PropGuard通过构建双视角时空图，结合响应中心风险评估与全状态证据保存，实现对LLM-MAS中传播性攻击的检测与修复，有效降低攻击成功率并保持高任务防御效率。

Factored Causal Representation Learning for Robust Reward Modeling in RLHF

因式分解因果表示学习用于RLHF中的鲁棒奖励建模

Yupei Yang, Lin Yang, Wanxi Deng, Lin Qu, Fan Feng, Biwei Huang, Shikui Tu, Lei Xu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； University of California San Diego（加州大学圣地亚哥分校） ； Mohamed bin Zayed University of Artificial Intelligence（莫莫德·本·扎耶德人工智能大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出因式分解表示学习框架，通过分离因果因素与非因果因素提升奖励模型鲁棒性，有效缓解奖励黑客问题。

Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

传递性与循环性：动态大语言模型对齐的显式偏好分解

Yucong Huang, Xiucheng Li, Kaiqi Zhao, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳校区） 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；RLHF(abstract,abstract_cn)；preference optimization(abstract)

AI总结 本文提出Hybrid Reward-Cyclic模型，通过博弈论分解显式分离传递性和循环性偏好，结合动态自我博弈优化方法提升大语言模型对齐效果，实验证明其在混合传递-循环设置中具有结构优势和更高的准确率。

Comments Accepted by ICML 2026

Real-Time Aligned Reward Model beyond Semantics

实时对齐奖励模型超越语义

Zixuan Huang, Xin Xia, Yuxi Ren, Jianbin Zheng, Xuefeng Xiao, Hongyan Xie, Li Huaqiu, Songshi Liang, Zhongxiang Dai, Fuzhen Zhuang, Jianxin Li, Yikun Ban, Deqing Wang

机构 * Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出R2M框架，通过实时利用策略模型反馈来对齐策略分布偏移，解决RLHF中奖励过拟合问题。

Difficulty-Based Preference Data Selection by DPO Implicit Reward Gap

基于难度的偏好数据选择：通过DPO隐式奖励差距

Xuan Qi, Rongwu Xu, Zhijing Jin

机构 * Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学计算机科学与工程保罗·G·艾伦学校） ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（德国图宾根马克斯·普朗克智能系统研究所） ； Jinesis Lab, University of Toronto & Vector Institute（多伦多大学Jinesis实验室及向量研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于难度的偏好数据选择方法，利用DPO隐式奖励机制选择奖励差距小的样本，提升数据效率和模型对齐性能，在多个数据集和对齐任务中优于五个基线方法。

Comments Our code and data are available at https://github.com/Difficulty-Based-Preference-Data-Select/Difficulty-Based-Preference-Data-Select

Self-Improving Tabular Language Models via Iterative Reward-Guided Post-Training

通过迭代奖励引导的后训练改进表格语言模型

Yunbo Long, Tejumade Afonja, Guangya Hao, Alexandra Brintrup, Mario Fritz

机构 * Department of Engineering, University of Cambridge（剑桥大学工程系） ； CISPA Helmholtz Center for Information Security, Saarbrücken, Germany（德国萨尔布吕肯信息安全中心） ； The Alan Turing Institute, London（伦敦阿兰·图灵研究所） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了通过生成-评分-对齐协议进行迭代奖励引导的后训练，提出了一种基于组相对对齐的方法TabGRAA，通过比较高分和低分生成组的组平均策略/参考对数比来改进表格语言模型，在五个混合类型基准上优于额外监督微调，并在保真度和下游效用之间实现了最佳平均权衡，同时保持经验隐私诊断接近监督基线。

Sketch Then Paint: Hierarchical Reinforcement Learning for Diffusion Multi-Modal Large Language Models

草图然后绘画：用于扩散多模态大语言模型的分层强化学习

Siqi Luo, Jianghan Shen, Yi Xin, Huayu Zheng, Haoxing Chen, Yan Tai, Yue Li, Junjun He, Yihao Liu, Guangtao Zhai, Yuewen Cao, Xiaohong Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shanghai Innovation Institute（上海创新研究院） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种分层强化学习方法HT-GRPO，通过Sketch-Then-Paint训练方案和分层信用分配机制，解决扩散多模态大语言模型在强化学习优化中的关键问题，提升图像质量和审美效果。

Convex Dataset Valuation for Post-Training

训练后凸集估值

Siqi Zeng, Christopher Jung, Rui Li, Zhe Kang, Ming Li, Nima Noorshams, Zhigang Wang, Fuchun Peng, Han Zhao, Xue Feng

机构 * Department of Computer Science, University of Illinois Urbana-Chamapign, Urbana, IL, USA（伊利诺伊大学厄巴纳-香槟分校计算机科学系） ； Meta, Menlo Park, CA, USA（Meta） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了在训练后利用凸集估值选择辅助数据集以提升大语言模型性能，提出基于核均值匹配的凸集估值方法，有效解决数据冗余问题，实验表明其在低计算开销下表现优于现有方法。

Comments Published as a conference paper at ICML '26. 30 pages, 8 figures

MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

MARR: 模块自适应残差重建用于低比特后训练量化

Le Su, Xing Luo, Zhi Jin

机构 * Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MARR，一种模块自适应残差重建方法，通过为每个模块分配特定的缩放系数，平衡残差相关的HA偏差和累积误差校正，从而在低比特量化中提升性能。

RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards

RLBFF：二进制灵活反馈用于连接人类反馈与可验证奖励

Zhilin Wang, Jiaqi Zeng, Olivier Delalleau, Ellie Evans, Daniel Egert, Hoo-Chang Shin, Felipe Soares, Yi Dong, Oleksii Kuchaiev

机构 * NVIDIA 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RLBFF结合人类偏好与规则验证，提升奖励模型对响应质量的精准捕捉，优于Bradley-Terry模型，在RM-Bench和JudgeBench上取得优异成绩，且支持用户自定义反馈原则。

Comments Published at ICLR 2026, 21 pages

SCOPE-RL: Stable and Quantitative Control of Policy Entropy in RL Post-Training

SCOPE-RL: 稳定和定量控制强化学习后训练中的策略熵

Chen Wang, Zhaochun Li, Jionghao Bai, Hexuan Deng, Ge Lan, Yue Wang

机构 * College of Software, Nankai University（南开大学软件学院） ； Zhongguancun Academy（中关村学院） ； Beijing Institute of Technology（北京理工大学） ； Zhejiang University（浙江大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出SCOPE-RL框架，通过温度自适应的正样本构造正则化项，稳定并定量控制强化学习后训练中的策略熵，实验表明其在Pass@1和Pass@$k$任务上优于现有基线方法。

A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM$Δ$ Integration into Upcycled MoE

多语言大语言模型的高效路径：通过后训练PARAM$Δ$整合到再利用MoE进行语言扩展

Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种高效的方法，通过将密集模型转换为MoE架构，并将不同语言分配给不同专家，从而在不进行复杂对齐阶段的情况下提升多语言大语言模型的性能，同时保留原始能力。

DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models

DACA-GRPO：去噪感知的信用分配用于扩散语言模型中的强化学习

Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova

机构 * The Ohio State University（俄亥俄州立大学） ； Apple（苹果公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DACA-GRPO，通过引入去噪进度评分和分层掩码似然，改进扩散语言模型中强化学习的信用分配，提升数学推理、代码生成等任务性能。

AMATA: Adaptive Multi-Agent Trajectory Alignment for Knowledge-Intensive Question Answering

AMATA: 适应性多智能体轨迹对齐用于知识密集型问答

Taolin Zhang, Dongyang Li, Chen Chen, Qizhou Chen, Jiuheng Wan, Xiaofeng He, Chengyu Wang, Richang Hong

机构 * School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； Shanghai University of Electric Power（上海电力大学） ； East China Normal University（华东师范大学） ； Guangdong University of Finance and Economics（广东财经大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本研究提出AMATA框架，通过动态整合外部知识提高知识密集型问答的响应可解释性和事实准确性，采用六个专门化智能体协作执行复杂问题推理，并引入两种创新：轨迹内偏好学习和智能体间依赖学习。

CodeScaler: Scaling Code LLM Training and Test-Time Inference via Reward Models

CodeScaler: 通过奖励模型扩展代码大语言模型的训练和测试时间推理

Xiao Zhu, Xinyu Zhou, Boyu Zhu, Hanxu Hu, Mingzhe Du, Haotian Zhang, Huiming Wang, Zhijiang Guo

机构 * LARK, HKUST(GZ)（LARK，香港科技大学（广州）） ； Kuaishou Technology（快手科技） ； UCL（伦敦大学学院） ； UZH（苏黎世联邦理工学院） ； NUS（国立新加坡大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CodeScaler，一种通过奖励模型扩展代码生成模型的训练和测试时间推理的框架，通过精心编纂的偏好数据和语法感知的代码提取，实现了在四个编码基准上比基于执行的RL提升1.55分，在Qwen3-14B-Base上提升4.23分，并在无测试用例的情况下通过合成数据进一步提升14.64分，同时在推理时间减少10倍的延迟，且在代码、通用和推理领域均优于现有奖励模型。

Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models

强化共轭匹配：扩散和流匹配模型的后训练强化学习扩展

Andreas Bergmeister, Stefanie Jegelka, Nikolas Nüsken, Carles Domingo-Enrich, Jakiw Pidstrigach

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； King's College London（伦敦国王学院） ； Microsoft Research New England（微软研究院新英格兰分部） ； University of Oxford（牛津大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出Reinforce Adjoint Matching方法，通过强化学习后训练优化扩散和流匹配模型，无需SDE回滚或梯度，提升生成质量与人类偏好匹配度。

Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs

Firefly：从真实API生成大规模验证工具调用数据

Yuxuan Lu, Ziyi Wang, Yingzhou Lu, Yisi Sang, Jiri Gesi, Xianfeng Tang, Yimeng Zhang, Zhenwei Dai, Hui Liu, Hanqing Lu, Chen Luo, Qi He, Benoit Dumoulin, Jing Huang, Dakuo Wang

机构 * Northeastern University（东北大学） ； Independent Researcher（独立研究者） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文提出FireFly框架，通过反向合成方法生成具有验证标签的工具调用数据，利用强LLM探索真实API并构建工具图，以提高大规模工具空间下的训练效率和结果准确性。

SIPO: Stabilized and Improved Preference Optimization for Aligning Diffusion Models

SIPO: 用于对齐扩散模型的人类偏好优化的稳定与改进方法

Xiaomeng Yang, Mengping Yang, Junyan Wang, Zhijian Zhou, Zhiyu Tan, Hao Li

机构 * Shanghai Science and Intelligence Institute, Shanghai, China（上海科学与智能研究所） ； Fudan University, Shanghai, China（复旦大学） ； Australian Institute for Machine Learning, The University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出SIPO框架，通过时间步感知的重要性重新加权和梯度稳定技术，解决扩散模型对齐中训练不稳定和策略偏差问题，提升了对齐效果和稳定性。

Comments This version supplements with more detailed content on reasoning and proof, additional experimental results, and ablation studies

Tongyi DeepResearch Technical Report

通义深研技术报告

Tongyi DeepResearch Team, Baixuan Li, Bo Zhang, Dingchu Zhang, Fei Huang, Guangyu Li, Guoxin Chen, Huifeng Yin, Jialong Wu, Jingren Zhou, Kuan Li, Liangcai Su, Litu Ou, Liwen Zhang, Pengjun Xie, Rui Ye, Wenbiao Yin, Xinmiao Yu, Xinyu Wang, Xixi Wu, Xuanzhong Chen, Yida Zhao, Zhen Zhang, Zhengwei Tao, Zhongwang Zhang, Zile Qiao, Chenxi Wang, Donglei Yu, Gang Fu, Haiyang Shen, Jiayin Yang, Jun Lin, Junkai Zhang, Kui Zeng, Li Yang, Hailong Yin, Maojia Song, Ming Yan, Minpeng Liao, Peng Xia, Qian Xiao, Rui Min, Ruixue Ding, Runnan Fang, Shaowei Chen, Shen Huang, Shihang Wang, Shihao Cai, Weizhou Shen, Xiaobin Wang, Xin Guan, Xinyu Geng, Yingcheng Shi, Yuning Wu, Zhuo Chen, Zijian Li, Yong Jiang

机构 * Tongyi Lab（通义实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文介绍了一种专为长时间深度信息检索任务设计的代理大语言模型，通过端到端训练框架结合代理中期和后期训练，实现了在复杂任务中的可扩展推理和信息检索，同时提供了高可扩展的数据合成管道，实现了无需昂贵人工标注的自动化训练流程，并在多个深度研究基准测试中取得了最先进的性能。

Comments https://tongyi-agent.github.io/blog

SafeDiffusion-R1: Online Reward Steering for Safe Diffusion Post-Training

SafeDiffusion-R1: 在线奖励引导用于安全扩散后训练

Komal Kumar, Ankan Deria, Abhishek Basu, Fahad Shamshad, Hisham Cholakkal, Karthik Nandakumar

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Michigan State University（密歇根州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 本文提出了一种在线强化学习框架，通过在负样本和正样本文本提示上进行后训练，利用组相对策略优化（GRPO）解决数据稀缺和模型退化问题，引入了引导奖励机制以提高扩散模型的安全性，实验表明其在减少不适当内容和提升生成质量方面表现优异。

Comments Page 28, Image 20, Table 6

Enhancing Table Reasoning with Deterministic Table-State Rewards

通过确定性表格状态奖励增强表格推理

Tung Sum Thomas Kwok, Xinyu Wang, Hengzhi He, Xiaofeng Lin, Peng Lu, Liheng Ma, Chunhe Wang, Chun Ho Mak, Yuyu Luo, Ying Nian Wu, Lei Ding, Guang Cheng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； University College London（伦敦大学学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Manitoba（曼尼托巴大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出TABROUGE，一种无需训练的确定性状态奖励，通过改进的LCS指标评估表格状态，提升表格推理准确率并减少样本需求。

Self-Supervised On-Policy Distillation for Reasoning Language Models

自监督在线策略蒸馏用于推理语言模型

Zhiquan Tan, Yinrong Hong

机构 * Tsinghua University（清华大学） ； Beihang University（北航大学） 纠错

专题命中 后训练与偏好优化 ：language model(title)；分类 cs.LG

AI总结 本文提出自监督在线策略蒸馏（SSOPD）方法，通过对比正确与错误的完成过程信号，提升推理语言模型的表现，实验表明在多个基准测试中优于GRPO和OPSD基线。

Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

异步代理强化学习中缺失旧日志：语义不匹配及用于离线策略修正的修复方法

Zhong Guan, Yongjian Guo, Haoran Sun, Wen Huang, Shuai Di, Likang Wu, Xiong Jun Wu, Hongke Zhao

机构 * Tianjin University（天津大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； JDT AI Infra（京东AI基础设施） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了异步代理强化学习中因缺失旧日志导致的语义不匹配问题，提出三种精确获取旧日志的策略及近似修正方法，改进了PPO-EWMA方法，提升了训练速度和优化性能。

DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding

DARC：通过风险约束解码实现的分歧意识对齐

Mingxi Zou, Jiaxiang Chen, Junfan Li, Langzhang Liang, Qifan Wang, Xu Yinghui, Zenglin Xu

机构 * Fudan University, Shanghai, China（复旦大学，上海，中国） ； Independent Researcher（独立研究者） ； Meta AI ； Incubation Institute, Fudan University, Shanghai, China（创新与孵化院，复旦大学，上海，中国） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 DARC通过风险约束解码方法，在不重新训练的情况下，通过最大化KL-鲁棒满意度目标来缓解分歧和尾部风险，保持高质量输出。

Learning to Reason without External Rewards

无需外部奖励的学习推理

Xuandong Zhao, Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Intuitor方法，通过内在反馈实现无需外部奖励的自主学习，实验表明其在数学基准和代码生成等任务中表现优异，为无监督学习提供了新途径。

Comments ICLR 2026

Implicit Hierarchical GRPO: Decoupling Tool Invocation from Execution for Tool-Integrated Mathematical Reasoning

隐式层次GRPO：将工具调用与执行解耦以实现工具集成的数学推理

Li Wang, Xiaohan Wang, Xiaodong Lu, Zipeng Zhang, Jinyang Wu, Jiajun Chai, Wei Lin, Guojun Yin

机构 * Meituan（美团） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种将工具调用与执行解耦的方法，通过引入延迟执行和显式控制来增强工具集成推理能力，并提出了一个分层控制框架和理论推导出的替代损失函数，从而得到隐式分层策略，最终提出IH-GRPO算法，在六个跨领域数学推理基准测试中，Qwen3-1.7B、Qwen3-4B和Qwen3-8B在最强基线方法上分别实现了1.87%、2.16%和2.53%的绝对提升。