语言大模型 / LLM

Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards

OBLR-PO：大型语言模型后训练稳定强化学习的理论框架

Zixun Huang, Jiayi Sheng, Zeyu Zheng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 OBLR-PO通过理论框架优化学习率和基线，提升大型语言模型后训练的稳定性与性能。

Comments 28 pages, 16 figures

LightningRL: Breaking the Accuracy-Parallelism Trade-off of Block-wise dLLMs via Reinforcement Learning

LightningRL: 通过强化学习打破块状dLLMs的精度-并行性权衡

Yanzhe Hu, Yijie Jin, Pengfei Liu, Kai Yu, Zhijie Deng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出LightningRL框架，通过强化学习优化预训练dLLMs的速度-质量帕累托前沿，提升并行生成性能。

TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework

TeaRAG：一种令牌高效的智能检索增强生成框架

Chao Zhang, Yuhao Wang, Derong Xu, Haoxin Zhang, Yuanjie Lyu, Yuhao Chen, Shuochen Liu, Tong Xu, Xiangyu Zhao, Yan Gao, Yao Hu, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； City University of Hong Kong（香港城市大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 研究提出TeaRAG框架解决智能RAG令牌开销大问题，通过基于简洁三元组的图检索压缩检索内容，用IP-DPO减少推理步骤，在多个数据集上实验，提高了平均精确匹配，减少了输出令牌。

Comments 34 pages

It Takes One to Bias Them All: Breaking Bad with One-Shot GRPO

一个样本就能带偏所有：单次GRPO打破对齐

Naihao Deng, Yilun Zhu, Naichen Shi, Clayton Scott, Rada Mihalcea

机构 * University of Michigan（密歇根大学） ； Northwestern University（西北大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 研究发现，仅用单个有偏样本进行一步GRPO训练就能诱导大语言模型产生系统性偏见，且刻板印象推理泛化到多种属性、类别和基准测试，揭示了对齐机制的关键脆弱性。

Comments COLM 2026

Rethinking Reward Models for Multi-Domain Test-Time Scaling

重新思考多领域测试时扩展的奖励模型

Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

机构 * KAIST（韩国科学技术院） ； Microsoft Research Asia（微软亚洲研究院） ； TH Nürnberg 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多领域测试时扩展的奖励模型，对四种奖励模型变体进行统一评估，发现dORM与dPRM相当，gPRM无竞争力，gORM最稳健，挑战细粒度监督更好的假设，支持生成式结果验证并公开代码。

Thinking Seeds: Leveraging Historical Diversity for Position-Aware RL in LLMs

思维种子：在语言模型中利用历史多样性进行位置感知强化学习

Lei Yang, Wei Bi, Chenxi Sun, Renren Jin, Deyi Xiong

机构 * TJUNLP Lab, College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院 TJUNLP 实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 研究语言模型在线强化学习问题，提出思维种子这一令牌级混合策略框架，利用模型历史检查点作离线前缀，通过令牌级重要性比率有效利用历史多样性，实验表明其性能优于标准在线训练和现有离线扩展。

Aligning Audio Captions with Human Preferences

对齐音频字幕与人类偏好

Kartik Hegde, Rehana Mahfuz, Yinyi Guo, Erik Visser

机构 * Qualcomm Technologies, Inc.（高通技术公司） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；pretraining(abstract)；分类 cs.LG

AI总结 提出基于人类反馈强化学习的音频字幕生成框架，通过CLAP奖励模型微调基线系统，无需真实标注即可生成更符合人类偏好的字幕。

Comments This paper has been accepted to INTERSPEECH 2026

Positive Alignment: Artificial Intelligence for Human Flourishing

积极对齐：人工智能促进人类繁荣

Ruben Laukkonen, Seb Krier, Chloé Bakalar, Shamil Chandaria, Morten Kringelbach, Adam Elwood, Daniel Ford, Fernando Rosas, Maty Bohacek, Matija Franklin, Nenad Tomašev, Stephanie Chan, Verena Rieser, Roma Patel, Michael Levin, Arun Rao

机构 * Department of Psychiatry, University of Oxford（牛津大学精神病学系） ； Flourishing Intelligence Program, Centre for Eudaimonia and Human Flourishing, Linacre College, University of Oxford（牛津大学幸福智能计划、幸福与人类繁荣中心、林acre学院） ； Google DeepMind（谷歌DeepMind） ； LIFE ； OpenAI ； Anthropic ； University of California, Los Angeles（加州大学洛杉矶分校） ； Aily Labs（Aily实验室） ； Stanford University（斯坦福大学） ； Tufts University（塔夫茨大学） ； Positive AI Labs（积极AI实验室） ； Department of Informatics, University of Sussex（Sussex大学信息学系） ； Department of Brain Sciences, Imperial College London（伦敦帝国理工学院脑科学系） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 本文提出积极对齐，旨在通过支持人类和生态繁荣，同时确保安全与合作，推动AI发展。研究指出传统对齐关注安全，而积极对齐强调促进人类福祉，提出多项技术挑战与设计原则。

Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models using Reinforcement Learning from Ranking Feedback

Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法

Derek Shi, Ruben Glatt, Christine Klymko, Shubham Mohole, Hongjun Choi, Shashank Kushwaha, Sam Sakla, Felipe Leno da Silva

机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。

Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)

Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026

InfoPO: Information-Driven Policy Optimization for User-Centric Agents

InfoPO：面向用户智能体的信息驱动策略优化

Fanqi Kong, Jiayi Zhang, Mingyi Deng, Chenglin Wu, Yuyu Luo, Bang Liu

机构 * Peking University（北京大学） ； The Hong Kong University of Science（香港科学大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.AI

AI总结 针对多轮交互中信用分配和优势信号不足的问题，提出信息增益奖励与自适应方差门控融合的InfoPO方法，在意图澄清、协作编码等任务上优于现有基线。

Counterfactual Credit Policy Optimization for Multi-Agent Collaboration

多智能体协作的反事实信用策略优化

Zhongyi Li, Wan Tian, Jinju Chen, Huiming Zhang, Yang Liu, Yikun Ban, Fuzhen Zhuang

机构 * Beihang University（北航） ； Peking University（北京大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多智能体大语言模型协作中信用分配难题，提出CCPO框架，通过反事实信用估计和验证器锚定的自评估两种分配器，将团队奖励转化为个体学习信号，提升数学推理任务表现。

Weak-Driven Learning: How Weak Agents make Strong Agents Stronger

弱驱动学习：弱智能体如何使强智能体更强

Zehao Chen, Gongxun Li, Tianxiang Ai, Zixuan Huang, Xiaodong Liu, Yifei Li, Wang Zhou, Fuzhen Zhuang, Xianglong Liu, Jianxin Li, Deqing Wang, Yikun Ban

机构 * Beihang University（北航） ； China Telecom eSurfing Cloud（中国电信eSurfing云） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 针对大语言模型后训练中的饱和瓶颈，提出WMSS方法，利用模型历史弱检查点通过熵动力学识别可恢复学习差距并进行补偿学习，在数学推理和代码生成任务上实现有效性能提升且无额外推理成本。

Teach a Reward Model to Correct Itself: Reward Guided Adversarial Failure Discovery for Robust Reward Modeling

教会奖励模型自我修正：奖励引导的对抗性失败发现以实现鲁棒奖励建模

Pankayaraj Pathmanathan, Furong Huang

机构 * University of Maryland College Park（马里兰大学College Park分校） ； Capital One 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出REFORM框架，通过奖励引导的受控解码自动发现奖励模型失败模式，并利用生成的对抗样本自我改进，提升鲁棒性而不牺牲奖励质量。

Journal ref ACL 2026 Main Conference [Oral]

RobustFlow: Towards Robust Agentic Workflow Generation

RobustFlow：面向鲁棒智能体工作流生成

Shengxiang Xu, Jiayi Zhang, Shimin Di, Yuyu Luo, Liang Yao, Hanmo Liu, Jia Zhu, Min-Ling Zhang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 针对现有智能体工作流生成方法对语义等价不同表述指令鲁棒性不足的问题，提出RobustFlow系统，结合偏好优化与专用基准，在多扰动下鲁棒性得分70%--90%，优于AFlow、ScoreFlow等方法。

All-Quadrant Bounded Clipping GRPO: Closing the Unbounded Blind Spot for Stable and Generalizable Training

自适应边界裁剪GRPO：确保有界比率以实现稳定且可推广的训练

Chi Liu, Xin Chen

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ABC-GRPO通过自适应边界裁剪提升GRPO的灵活性和泛化能力，实现更稳定和可推广的训练效果。

Comments 13 pages, 3 figures

Self-Guided Process Reward Optimization with Redefined Step-wise Advantage for Process Reinforcement Learning

基于重新定义的逐步优势的自引导过程奖励优化用于过程强化学习

Wu Fei, Shuxian Liang, Yibo Yang, Yang Lin, Jing Tang, Lei Chen, Xiansheng Hua, Hao Kong

机构 * Terminus Group（Terminus集团） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对过程强化学习中引入奖励模型计算开销大且缺乏统一优势估计框架的问题，提出SPRO框架，通过从策略模型导出奖励及重新定义优势进行过程感知强化学习，实验显示其训练效率高、准确率提升且无额外开销。

Z-Reward: Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions

超越标量奖励：将推理内化到分数分布中

Xin Jin, Huanqia Cai, Zhen Li, Zechao Zhan, Dengyang Jiang, Aiming Hao, Yuming Jiang, Xiangpeng Yang, Chunle Guo, Peng Gao, Ming-Ming Cheng, Steven C. H. Hoi

机构 * Alibaba Group（阿里巴巴集团） ； Nankai University（南开大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出Z-Reward框架，通过教师-学生模型将推理型奖励内化为紧凑VLM的分数分布，实现高效且准确的文本到图像优化。

Comments Z-Image Team Technical Report. Project page: https://srameo.github.io/projects/z-reward/

Weak-to-Strong Elicitation via Mismatched Wrong Drafts

通过不匹配的错误草稿实现弱到强的引导

Wei Deng

机构 * Independent Researcher（独立研究者） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了通过较小较弱模型的不匹配错误草稿引导更强学习者的能力，发现这种策略在MATH-500和AIME 2025/2026等任务上表现优异，主要贡献是提出了一种有效的训练方法。

Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis

奖励科学过程：面向代理数据分析的过程级奖励建模

Zhisong Qiu, Shuofei Qiao, Kewei Xu, Yuqi Zhu, Lun Du, Ningyu Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DataPRM，一种环境感知的生成过程奖励模型，通过主动验证和反思意识的三元奖励策略，提升动态数据分析任务中代理的性能，实验表明其在多个基准测试中表现优异。

Comments KDD 2026

DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training

DRIFT: 基于难度路由的自我蒸馏与节奏门控探索及成功缓冲训练

Haisen Luo, Yiwei Liu, Haoning Wang, Dan Liu, Junxi Yin, Haotian Wang, Lei Zhang, Xiaoyu Tian, Shuaiting Chen, Yuansheng Song, Baoyan Guo, Xiongfei Yan, Bolan Yang, Chengwei Liu, Ming Cui, Jiong Chen

机构 * Tsinghua University（清华大学） ； ENS Paris-Saclay（巴黎-萨克雷大学） ； Beike Language and Intelligence（贝克语言与智能） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出DRIFT框架，通过难度路由和节奏门控动态分配自蒸馏与强化学习信号，结合成功缓冲和两阶段课程学习，提升大模型在复杂推理任务中的自我进化稳定性，在五个基准上平均得分79.5%，超越GRPO和SDPO。

MARS: Margin and Semantic-Aware Data Augmentation for Reward Modeling

MARS：面向奖励建模的边界与语义感知数据增强

Payel Bhattacharjee, Osvaldo Simeone, Ravi Tandon

机构 * University of Arizona（亚利桑那大学） ； Northeastern University London（伦敦东北大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出MARS框架，通过优先增强低边界偏好对并利用语义距离细化，提升奖励模型质量和对齐性能。

MICA: Multi-granularity Intertemporal Credit Assignment for Long-Horizon Emotional Support Dialogue

MAPO：混合优势策略优化用于长时多轮对话

Naifan Zhang, Ruihan Sun, Jinwei Su, Hengjie Yang, Zhengyuan Pan, Zhaohan Chen, Xiaofan Zhang

机构 * NatureSelect ； Tsinghua University（清华大学） ； South China Normal University（华南师范大学） ； Xiamen University（厦门大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MAPO通过混合优势策略优化，利用密集过程反馈和多级归一化，提升长时多轮对话的稳定性和性能，优于传统方法。

Relational Preference Encoding in Looped Transformer Internal States

循环变压器内部状态中的关系偏好编码

Jan Kirin

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究循环变压器如何编码人类偏好，通过提取内部迭代状态训练轻量评估头，发现偏好关系性编码优于非线性方法，提出翻转测试作为必要诊断。

BRIDGE: Bridging Reasoning In Distillation Gap Elimination via Structure-Aware Masking

通过结构感知掩码和GRPO实现高效的链式推理知识蒸馏课程学习

Bowen Yu, Sheng Zhang, Binhao Wang, Yi Wen, Jingtong Gao, Bowen Liu, Zimo Zhao, Shanshan Ye, Wanyu Wang, Maolin Wang, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过结构感知掩码和GRPO实现高效的链式推理知识蒸馏，提升学生模型的准确率和输出简洁性。

Comments 13 pages, 12 figures. Accepted at SDM 2026

Corruption Robust Offline Reinforcement Learning with Human Feedback

具有人类反馈的鲁棒离线强化学习

Debmalya Mandal, Andi Nika, Parameswaran Kamalaruban, Adish Singla, Goran Radanović

机构 * University of Warwick（华威大学） ； Max-Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； Independent Researcher（独立研究员） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究离线环境下人类反馈强化学习的数据鲁棒性，提出基于置信集和悲观策略的鲁棒方法，首次提供可证明的鲁棒性保证。

Comments Updated Algorithm 1 and the Proof of Theorem 3.3

ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL

ReSkill：在智能体强化学习中协调技能创建与策略优化

Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出ReSkill框架，通过GRPO的组结构嵌入断言驱动技能创建、组内轨迹采样和自适应汤普森采样，实现技能与策略的协同进化，在多个领域超越现有方法。

VideoGPA: Distilling Geometry Priors for 3D-Consistent Video Generation

VideoGPA: 通过几何先验知识蒸馏实现3D一致的视频生成

Hongyang Du, Junjie Ye, Xiaoyan Cong, Runhao Li, Jingcheng Ni, Aman Agarwal, Zeqi Zhou, Zekun Li, Randall Balestriero, Yue Wang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 VideoGPA通过几何先验知识蒸馏提升视频生成的3D一致性，利用数据高效的自监督框架引导视频扩散模型，显著增强时间稳定性、几何合理性与运动一致性。

Comments 8 pages, 5 figures, ICML 2026

Local Guidance, Global Impact: Gaussian-Reshaped Trust Region Unlocks Behavior Transitions

局部引导，全局影响：高斯重塑信任区域解锁行为转变

Bingxu Liu, Jiashun Liu, Johan Obando-Ceron, Hao Wang, Runze Liu, Pablo Samuel Castro, Aaron Courville, Ling Pan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Mila - Québec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） ； Fudan University（复旦大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对PPO在非平稳环境中优化失效的问题，提出高斯信任区域策略优化（GTR），通过高斯核重塑信任区域实现非单调约束，在保持局部稳定性的同时允许必要的大幅策略更新，并在多种任务中取得强性能。

Comments 21 pages

AdaJudge: Adaptive Multi-Perspective Judging for Reward Modeling

AdaJudge: 自适应多视角评判用于奖励建模

Yongliang Miao, Yangyang Liang, Mengnan Du

机构 * Emory University（埃默里大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出AdaJudge框架，通过门控精化块和自适应多视角池化模块，联合优化表示与聚合，解决奖励建模中静态归纳偏差和表示不匹配问题，在RM-Bench和JudgeBench上超越现有模型。

Comments ACL 2026

HarmRLVR: Weaponizing Verifiable Rewards for Harmful LLM Alignment

HarmRLVR: 利用可验证奖励进行有害大模型对齐

Yuexiao Liu, Lijun Li, Xingjun Wang, Jing Shao

专题命中 后训练与偏好优化 ：LLM(title)

AI总结 提出HarmRLVR，首次系统研究可验证奖励强化学习（RLVR）的对齐可逆性风险，通过仅64个有害提示的GRPO即可快速逆转安全对齐，攻击成功率高达96.01%。