语言大模型 / LLM

PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF

PS-PPO: 用于无评论者RLHF的前缀采样PPO

Doo Hwan Hwang, Kee-Eung Kim

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出PS-PPO方法，通过前缀采样和重要性加权修正，在无评论者RLHF中减少训练计算和内存，保持准确率。

Journal ref ICML 2026 published

RM-Distiller: Exploiting Generative LLM for Reward Model Distillation

RM-Distiller: 利用生成式大语言模型进行奖励模型蒸馏

Hongli Zhou, Hui Huang, Wei Liu, Chenglong Wang, Xingyuan Bu, Lvyuan Han, Fuhai Song, Muyun Yang, Wenhao Jiang, Hailong Cao, Tiejun Zhao

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 RM-Distiller通过系统利用教师LLM的精炼、评分和生成能力，提升奖励模型蒸馏效果，首次系统性地探索了生成式LLM在奖励建模中的应用。

Comments Accepted to IJCAI-ECAI 2026

The Hitchhiker's Guide to Agentic AI: From Foundations to Systems

《智能体AI的搭车指南：从基础到系统》

Haggai Roitman

机构 * Haggai Roitman 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文为构建自主AI系统提供全面实践参考，覆盖从Transformer架构、训练优化到对齐、推理、检索增强生成、记忆系统、智能体设计模式及多智能体协调的完整技术栈。

Comments version 1.3

The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation

多轮长期规划的物理学：通过单教师和多教师策略蒸馏从预训练到训练后

Tianyi Men, Zhuoran Jin, Kang Liu, Jun Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多轮长期规划问题，通过引入统一可控环境，利用预训练、GRPO、OPD及MOPD等方法，研究规划能力在不同阶段的获取、塑造与整合，展示了多教师策略蒸馏对跨环境能力整合的作用。

STAIF: A Stage-wise Optimization for Complex Instruction Following

STAIF：一种用于复杂指令跟随的逐阶段优化方法

Jian Hong, Chen Cheng, Quan Liu, Yuhao Chen, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； iFLYTEK Research Group（科大讯飞研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型遵循复杂指令的挑战，提出STAIF逐阶段优化框架，先通过偏好优化提高软约束敏感度，再用可验证奖励强化学习确保硬约束遵守，构建相关数据集，验证了该方法的设计并展现出领先性能和泛化能力。

Comments 16 pages, 6 figures

Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis

让我看着你：用于对话语音合成的高级面部表情建模

Yifan Hu, Shuwei He, Rui Liu, Haizhou Li

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 研究针对对话语音合成中面部表情线索常被忽视及缺乏多模态数据集的问题，提出基于大语言模型的FacialTalker框架，含AUTokenizer和DualDPO策略，构建VSDD-1K数据集，实验表明该框架在表情感知和语音合成质量上表现出色。

Comments 10 pages, 5 figures, 5 tables. Accepted by ACM MM 2026

Learning Sampling Parameters for Diffusion Models

学习扩散模型的采样参数

Arisrei Lim, Yossi Gandelsman

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 研究针对扩散模型推理时采样参数固定的问题，提出LeSAMP框架，将参数选择转化为强化学习问题，通过人类偏好模型和VLM评判优化，实验表明该方法相比基线有更高胜率，为改进扩散模型输出提供补充途径。

Comments Code will be released

RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning

RESTOR：通过强化学习自动生成RESTful API的测试预言机

Xun Zhou, Zhen Dong, Mingyu Ren, Qiang Li, JunJie Li, Sifan Wang, Xiaolong Yu, Chaofeng Sha, Xin Peng

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对RESTful API测试中定义可靠测试预言机的挑战，Restor框架利用强化学习，通过数据增强管道微调大语言模型生成测试断言，在工业数据集和生产工作流程中表现出色，提升测试用例采用率并减少人工QA工作。

Comments Accepted to ISSTA 2026. 22 pages, 8 figures, 2 tables

Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning

超越直接回答：通过启发式强化学习将教育大语言模型调整为苏格拉底式引导者

Xiaokun Wang, Siyu Song, Wentao Liu, Xiaodong Zou

机构 * East China Normal University（华东师范大学） ； Shanghai Chuangjie Situo Information Technology Co., Ltd.（上海创杰思拓信息技术有限公司） ； Shanghai Normal University（上海师范大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对教育场景中LLMs直接作答问题，提出HeuristicEdu两阶段管道，经监督热身和GRPO，利用特定对话及启发式奖励训练Qwen2.5 - 7B，提升了支架有效性，降低关键词泄漏，表明规模并非引发苏格拉底行为的唯一因素。

Comments 12 pages, 2 figures, 5 tables; includes an appendix

On the Impossibility of Unbiased and Length-Invariant Policy Optimization with Outcome Rewards

关于使用结果奖励进行无偏且长度不变的策略优化的不可能性

Fei Ding, Yongkang Zhang, Yuhao Liao, Zijian Zeng, Huiming Yang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究在标准结果奖励+GRPO设置下，无基于长度的加权方案能同时兼具梯度无偏性与长度不变性。通过参数族刻画权衡谱，揭示GRPO和Dr. GRPO各有优劣，处于不可避免的权衡两端，都非完美。

EmoAgent-R1: Towards Multimodal Emotion Understanding with Reinforcement Learning-based Dynamic Agent Specialization

EmoAgent-R1：基于强化学习的动态智能体专业化实现多模态情感理解

Lihuang Fang, Yuchen Zou, kebing Jin, Jinghui Qin

机构 * Guangdong University of Technology（广东工业大学） ； Southern University of Science and Technology（南方科技大学） ； Xi’an Jiaotong University（西安交通大学） ； Guizhou Provincial Laboratory of Big Data, State Key Laboratory of Public Big Data, Guizhou University（贵州大学大数据省级重点实验室、公共大数据国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对现有多模态情感识别方法忽视情感源动态性和复杂性的问题，提出基于强化学习的动态智能体专业化框架EmoAgent-R1，采用冷启动策略和两步智能体工作流程训练，并用P-GRPO优化，实验证明其在情感推理性能和优化稳定性上更优。

JAGG: Jacobian-Aggregated Group Gradient for Efficient GRPO Training of Diffusion Models

AGG：用于扩散模型高效GRPO训练的雅可比聚合组梯度

Ruiyi Ding, Jie Li, He Kang, Ziyan Liu, Chengru Song, Yuan cheng

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究GRPO扩展到扩散模型的计算瓶颈问题，提出JAGG方法，通过特定插值和聚合梯度，减少反向传播次数，实验表明该方法能在质量损失小的情况下显著加速T2I训练中的DiT RL训练。

Comments 21 pages

Qwen-Music Technical Report

Qwen-音乐技术报告

Jin Xu, Kangdi Wang, Ruibin Yuan, Shun Lei, Xiong Wang, Xize Cheng, Xueyao Zhang, Yang Zhang, Yiheng Chen, Yongqi Wang, Yue Wang, Zhifang Guo, Zihan Liu, Zijian Lin, Dake Guo, Hangrui Hu, Lei Xie, Linhan Ma, Wei Xue, Wenxiang Guo, Xinfa Zhu, Xipin Wei, Yangze Li, Yuanjun Lv, Yuxuan Wang, Yunfei Chu, Zhiyong Wu

机构 * Qwen Team（通义团队） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)

AI总结 介绍Qwen-音乐，它支持文本到音乐生成和翻唱歌曲生成两个核心任务。集成三个核心组件，通过特定机制建模并渲染。经多语言数据训练及多种训练方式，在多个音乐性和音频质量指标上达领先成果，获专业评估人员青睐。

Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

无坐标或区域标签的视觉文档理解中的证据归因

Zhuchenyang Liu, Yao Zhang, Yu Xiao

机构 * Aalto University（阿尔托大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 研究视觉文档理解中无坐标或区域标签时的证据归因问题，通过对比坐标与语言接口，发现语言接口能提升证据召回率、降低幻觉率。基于此用引述和检索管道作训练框架，引入GRPO方法，提高了模型严格归因准确率，找到改善归因的实用路径。

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

检索前先思考：多模态检索增强生成的智能体规划

Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

机构 * Bosch AI Research Center（博世人工智能研究中心） ； University of Notre Dame（圣母大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 研究多模态检索增强生成问题，提出MM-R2框架，通过建模检索内容和位置在检索前推理，构建意图基础检索状态，在结构化知识图谱检索，还构建相关数据集并采用两阶段后训练策略，实验证明其在答案准确性等方面表现出色。

LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget

LongStraw：在固定GPU预算下超越200万个令牌的长上下文强化学习

Changhai Zhou, Kieran Liu, Yuhua Zhou, Qian Qiao, Jun Gao, Harry Zhang, Irvine Lu, Nolan Ho, Lucian Li, Andrew Lei, Cleon Cheng, Steven Chiang, Yihang Zeng, Di Zhang, Rio Yang, Kaijie Chen, Andrew Chen, Pony Ma, Weizhong Zhang, Cheng Jin

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 研究针对推理上下文长度与强化学习后训练的差距问题，提出LongStraw架构感知执行堆栈，用GRPO优化，在固定GPU预算下实现百万令牌强化学习后训练，通过实验验证了其执行能力。

Comments 44 pages, 10 figures, 11 tables. Code: https://github.com/MindLab-Research/longstraw

DobicVLM: Aligning Chest X-Ray Report Generation with Clinically-Grounded Programmatic Rewards via Group Relative Policy Optimization

DobicVLM：通过群体相对策略优化使胸部X光报告生成与临床基础的程序化奖励保持一致

Thanni Adewuyi, Angelica Obayi, Andem Aniekan, Samuel Okoko, Angel Ezendu, Ephraim Usani, Ademide Animasaun, Philip Chibundu, Christian Maurice, Mary Donald Essien, Oluwaseun Odunsi, Oluwasegun Oguntuase, Abiodun Adereni

机构 * Dobic Health（多比克健康公司） ； University of Ibadan（伊巴丹大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 研究针对自动胸部X光报告生成难题，提出DobicVLM模型，结合监督微调、GRPO及临床奖励，用可解释规则组件执行标准，经训练和评估，该模型多数标准优于Gemini 2.5 Flash，证明GRPO在资源受限设置中的价值。