语言大模型 / LLM

Hista and Numca: Estimate State Value Effectively for LLM Reinforcement Learning

Hista 和 Numca：为 LLM 强化学习有效估计状态值

Zizhe Chen, Jiqian Dong, Yizhou Tian, Garry Yang, Yongqiang Chen, Zhitang Chen, James Cheng

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对 LLM 强化学习中状态值估计不准确的问题，提出 Numca（利用数值跨度作为可分级里程碑）和 Hista（利用隐藏状态加权平均不连续轨迹及其回报）两种方法，显著提升估计精度和训练性能。

Comments Accepted at ICML 2026

HumorGen: Cognitive Synergy for Humor Generation in Large Language Models via Persona-Based Distillation

HumorGen: 基于角色蒸馏的大语言模型幽默生成的认知协同

Edward Ajayi, Prasenjit Mitra

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；preference optimization(abstract)

AI总结 针对大语言模型标准训练目标与幽默所需意外性之间的矛盾，提出认知协同框架，利用六种认知角色合成多样化喜剧视角数据，微调7B参数学生模型，实验表明认知驱动的数据策展比对齐算法或模型规模更关键。

LLUMI: Improving LLM Writing Assistance for Mental Health Support with Online Community Feedback

LLUMI: 利用在线社区反馈改进心理健康支持中的LLM写作辅助

Jiwon Kim, Maya Ajit, Sherry Gong, Soorya Ram Shimgekar, Dong Whi Yoo, Eshwar Chandrasekharan, Koustuv Saha

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 提出LLUMI框架，通过在线社区反馈（如Reddit投票）构建偏好对，结合监督微调和直接偏好优化训练开源小模型，在隐私保护下实现与GPT相当的心理健康支持性能。

CoHyDE: Iterative Co-Training of LLM Rewriter & Dense Encoder for Tool Retrieval

CoHyDE: 用于工具检索的LLM改写器与稠密编码器的迭代协同训练

Vaishali Senthil, Ashutosh Hathidara, Sebastian Schreiber

机构 * SAP Labs（SAP实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出CoHyDE方法，通过迭代协同训练稠密编码器和LLM改写器，结合对比学习和偏好对齐，在工具检索任务中同时提升标准查询和模糊查询的性能。

Post-Training Language Models for Crosslingual Consistency

后训练语言模型以实现跨语言一致性

Tianyu Liu, Jirui Qi, Mrinmaya Sachan, Ryan Cotterell, Raquel Fernández, Arianna Bisazza

机构 * ETH Zürich（苏黎世联邦理工学院） ； CLCG, University of Groningen（格罗宁根大学CLCG中心） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对多语言模型对翻译等价提示响应不一致的问题，提出基于信息论的跨语言一致性定义，并开发后训练方法直接一致性优化（DCO）以提升一致性。

Comments ICML 2026. The first two authors contributed equally. Codes available at: https://github.com/Betswish/ConsistencyRL

RUBRIC-ARROW: Alternating Pointwise Rubric Reward Modeling for LLM Post-training in Non-verifiable Domains

RUBRIC-ARROW：面向不可验证领域的大语言模型后训练的交替逐点评分规则奖励建模

Haoxiang Jiang, Zihan Dong, Tianci Liu, Wanying Wang, Ran Xu, Tony Yu, Linjun Zhang, Haoyu Wang

机构 * University at Albany（阿尔巴尼大学） ； Rutgers University（罗格斯大学） ； Purdue University（普渡大学） ； Independent Researcher（独立研究员） ； Emory University（埃默里大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；分类 cs.CL、cs.LG

AI总结 针对非可验证领域绝对评分困难的问题，提出交替框架RUBRIC-ARROW，联合训练规则生成器和条件裁判，通过概率评分规则和交替GRPO减少平局，提升奖励建模准确率并改善下游策略后训练。

Mechanism Shift During Post-training from Autoregressive to Masked Diffusion Language Models

从自回归到掩码扩散语言模型的后训练中的机制转变

Injin Kong, Hyoungjoon Lee, Yohan Jo

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） ； Department of Biosystems & Biomaterials Science and Engineering, Seoul National University（首尔国立大学生物系统与生物材料科学与工程系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过比较电路分析，发现后训练得到的掩码扩散模型在结构上根据任务保留或重组自回归电路，在语义上从局部专业化转向分布式整合，表明扩散后训练是内部计算的深度重组。

RewardFlow: Topology-Aware Reward Propagation on State Graphs for Agentic RL with Large Language Models

RewardFlow: 面向大语言模型智能体强化学习的拓扑感知状态图奖励传播

Xiao Feng, Bo Han, Zhanke Zhou, Jiaqi Fan, Jiangchao Yao, Ka Ho Li, Dahai Yu, Michael Kwok-Po Ng

机构 * TMLR Group（TMLR小组） ； Hong Kong Baptist University（香港 Baptist大学） ； TCL Corporate Research (HK) Co Ltd（TCL企业研究（香港）有限公司） ； Cooperative Medianet Innovation Center Shanghai Jiao Tong University（合作中位网创新中心上海交通大学） ； Department of Mathematics Hong Kong Baptist University（香港 Baptist大学数学系） 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RewardFlow方法，通过构建状态图进行拓扑感知的奖励传播，为智能体推理提供无标注的密集奖励，显著提升强化学习性能。

Skill-Pro: Learning Reusable Skills from Experience via Non-Parametric PPO for LLM Agents

Skill-Pro: 通过非参数PPO从经验中学习可复用技能以用于LLM智能体

Qirui Mi, Zhijian Ma, Mengyue Yang, Haoxuan Li, Yisen Wang, Haifeng Zhang, Jun Wang

机构 * Key Laboratory of Interdisciplinary Research of Computation and Economics（交叉计算与经济学交叉研究实验室） ； Shanghai University of Finance and Economics（上海财经大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, Chinese Academy of Sciences（中国科学院人工智能研究所） ； University of Bristol（布里斯托大学） ； Peking University（北京大学） ； University College London（伦敦大学学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Skill-Pro框架，通过非参数PPO从交互经验中自动学习可复用的程序性技能，无需参数更新，实现高效经验重用和长期自主性。

Comments Accepted at ICML 2026 (spotlight); 22 Pages, 6 Figures, 5 Tables

LaRA: Layer-wise Representation Analysis for Detecting Data Contamination in RL Post-Training

LaRA: 面向RL后训练中数据污染的逐层表示分析

Minju Gwak, Minseo Kwak, Dongseok Lee, Guijin Son, Alan Ritter, Jaehyung Kim

机构 * Yonsei University（延世大学） ； Seoul National University（首尔国立大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LaRA框架，通过逐层表示分析检测强化学习后训练中的污染数据，利用扰动敏感性、方向坍缩和局部表示刚性三个指标，优于现有输出级方法。

Comments Work in Progress

GrepSeek: Training Search Agents for Direct Corpus Interaction

GrepSeek：训练用于直接语料库交互的搜索代理

Alireza Salemi, Chang Zeng, Atharva Nijasure, Jui-Hui Chung, Razieh Rahimi, Fernando Diaz, Hamed Zamani

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Princeton University（普林斯顿大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出GrepSeek，一种通过两阶段训练（冷启动数据集+GRPO优化）和语义保持的分片并行执行引擎，训练紧凑型搜索代理直接与文本语料库交互（通过shell命令），在开放域问答中取得最优F1和精确匹配。

The Alignment Floor: How Persona Customization Breaks Safety in Weakly-Aligned LLMs

对齐下限：角色定制如何破坏弱对齐大语言模型的安全性

Xing Zhang, Guanghui Wang, Yanwei Cui, Wei Qiu, Ziyuan Li, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式人工智能创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰技术中心，中国） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过对比强对齐与弱对齐模型在不同角色条件下的谄媚率变化，定义对齐下限Δ_floor作为评估模型角色定制安全性的审计指标。

Prompt-Level Reward Specifications for Open-Ended Post-Training

面向开放式后训练的提示级奖励规范

Zijun Weng, Xiaohui Hu, Shuangyong Song, Yongxiang Li, Kaidong Yu, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.（星辰AGI实验室，中国电信人工智能技术（北京）有限公司） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.CL

AI总结 提出一种提示级奖励规范框架，通过离线构建可复用的任务自适应评分准则和可执行硬约束检查器，在训练前显式化奖励标准，无需人工偏好标注或单独训练奖励模型，在多个开放式基准上提升了离线排序和在线强化学习效果。

Comments 39 pages, 4 figures, 16 tables

In-Context Reward Adaptation for Robust Preference Modeling

上下文奖励自适应用于鲁棒偏好建模

Zhenyu Sun, Zheng Xu, Ermin Wei

机构 * Northwestern University（西北大学） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于Transformer的上下文奖励自适应框架，通过少量偏好示例和人类反应时间辅助信号，在线建模多样且未见的人类偏好，实现鲁棒的偏好建模和分布偏移适应。

PEARL: Training Socratic Tutors with Pedagogically Aligned Reinforcement Learning

PEARL: 使用教学对齐强化学习训练苏格拉底式导师

Qikai Chang, Zhenrong Zhang, Linbo Chen, Pengfei Hu, Jianshu Zhang, Youhui Guo, Jun Du

机构 * University of Science and Technology of China（中国科学技术大学） ； iFLYTEK Research（iFLYTEK研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PEARL框架，通过可控学生模拟器、生成式奖励模型和稳定多目标强化学习，训练苏格拉底式教学代理，在多个基准上达到开源模型最佳性能并与专有模型竞争。

Comments 16 pages, 7 figures

Mining or Synthesis? Rethinking Exploration Efficiency in Iterative Alignment of Mathematical Reasoning

挖掘还是合成？重新思考数学推理迭代对齐中的探索效率

Jun Rao, Zixiong Yu, Xuebo Liu, Guhan Chen, Jing Li, Hejin Wang, Jiansheng Wei, Xiaojun Meng, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳研究院） ； Huawei Large Model Data Technology Lab（华为大模型数据技术实验室） ； Huawei Multimodal Model Lab（华为多模态模型实验室） ； Department of Statistics and Data Science, Tsinghua University, Beijing, China（清华大学统计与数据科学系） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 针对数学推理任务中迭代DPO对齐时高N采样收益递减且引入噪声的问题，提出PACE框架，通过低预算探索与纠错合成偏好对，以约1/5计算量达到或超越高N基线性能。

CRITIC-R1: Learning Structured Critics for Retrieval-Augmented Generation

CRITIC-R1: 学习结构化评论用于检索增强生成

Wenhan Xiao, Ziwei Zhang, Chuanyue Yu, Xingcheng Fu, Qingyun Sun, Runhua Xu, Jianxin Li

机构 * Nankai University（南开大学） ； Beihang University（北航） ； Guangxi Normal University（广西师范大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出CRITIC-R1框架，通过强化学习将RAG评论建模为结构化错误诊断问题，设计保守判断对齐和诊断质量对齐奖励函数，提升检索增强生成的答案质量。

Comments 17 pages,13 figures

ESPO: Early-Stopping Proximal Policy Optimization

ESPO：早期停止的近端策略优化

Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

机构 * Tongyi Lab（通义实验室） ； Alibaba Group（阿里巴巴集团） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出ESPO算法，通过在强化学习训练大语言模型时在线检测轨迹失败并提前终止，节省计算资源并提升数学推理性能。

Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

超越归一化：重新审视配分函数作为RLVR的难度调度器

Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PACED-RL框架，通过重新解释配分函数作为每提示期望奖励信号，利用其指导训练中的问题选择与重放，在保持生成多样性的同时提升样本效率。

The Curse of Helpfulness: Inverse Scaling Law in Robustness to Distractor Instructions via DistractionIF

帮助的诅咒：通过 DistractionIF 在干扰指令鲁棒性中的逆缩放定律

Zeli Su, Zhankai Xu, Tianlei Chen, Longfei Zheng, Xiaolu Zhang, Jun Zhou, Wentao Zhang

机构 * Minzu University of China, Beijing, China（民族大学，北京，中国） ； Renmin University of China, Beijing, China（中国人民大学，北京，中国） ； Peking University, Beijing, China（北京大学，北京，中国） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出 DistractionIF 基准，发现大语言模型在参考文本中干扰指令的鲁棒性存在逆缩放现象，并通过 GRPO 强化学习提升鲁棒性。

Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models

对齐引导的分数匹配用于扩散模型中的文本到图像对齐

Jaa-Yeon Lee, Yeobin Hong, Taesung Kwon, Jong Chul Ye

机构 * Graduate School of AI, KAIST, South Korea（韩国高级人工智能研究生院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种轻量级、无奖励的后训练方法，通过将对比对齐引导直接整合到扩散模型的分数匹配目标中，以解决文本-图像对齐中的过度惩罚和计数错误问题。

Comments ICML 2026, Project page: https://jaayeon.github.io/AGSM

GRPO is Secretly a Process Reward Model

GRPO 秘密地是一个过程奖励模型

Michael Sullivan, Alexander Koller

机构 * Department of Language Science ； Technology, Saarland Informatics Campus, Saarland University, Saarbr \"u cken, Germany 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文理论证明，使用结果奖励模型的 GRPO 强化学习算法等价于一个基于蒙特卡洛的过程奖励模型，并发现其缺陷，提出 λ-GRPO 改进，在推理任务上提升性能。

Comments 16 pages, 9 figures; accepted at ICML 2026

CaC: Advancing Video Reward Models via Hierarchical Spatiotemporal Concentrating

CaC：通过分层时空聚焦推进视频奖励模型

Jiyuan Wang, Huan Ouyang, Jiuzhou Lin, Chunyu Lin, Dewen Fan, Boheng Zhang, Haonan Fan, Fei Zuo, Jia Sun, Huaiqing Wang, Honglie Wang, Yiyang Fan, Zhenlong Yuan, Zijun Li, Yongrui Heng, Guosheng Lin, Fan Yang, Tingting Gao

机构 * BJTU（北京工业大学） ； NTU（国立台湾大学） ； BUPT（北京邮电大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 提出基于视觉语言模型的粗到细异常奖励模型CaC，通过全局时间扫描、局部空间定位和结构化时空思维链推理，结合大规模生成视频异常数据集和三阶段渐进训练，显著提升细粒度异常检测精度并减少生成视频异常。

Comments 27 pages, 10 figures

UDM-GRPO: Stable and Efficient Group Relative Policy Optimization for Uniform Discrete Diffusion Models

UDM-GRPO：面向均匀离散扩散模型的稳定高效组相对策略优化

Jiaqi Wang, Haoge Deng, Ting Pan, Yang Liu, Chengyuan Wang, Fan Zhang, Yonggang Qi, Xinlong Wang

机构 * Beijing University of Posts（北京邮电大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：pretraining(abstract)；分类 cs.LG

AI总结 针对均匀离散扩散模型（UDM）与强化学习（RL）集成时训练不稳定、性能提升有限的问题，提出UDM-GRPO框架，通过将最终干净样本作为动作、利用扩散前向过程重建轨迹以及引入简化步数和无CFG策略，显著提升文本到图像生成任务的性能。

Comments UDM-GRPO is accepted by ICML 2026 (Spotlight). Code is available at https://github.com/Yovecent/UDM-GRPO