语言大模型 / LLM

Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training

Dr. Post-Training：一种数据正则化视角下的LLM后训练

Pingbang Hu, Xueshen Liu, Z. Morley Mao, Jiaqi W. Ma

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Michigan（密歇根大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,title_cn)；SFT(abstract,abstract_cn)；RLHF(abstract,abstract_cn)

AI总结 本文提出Dr. Post-Training框架，通过将通用训练数据作为数据诱导正则化器，防止模型过拟合稀缺目标数据，从而提升LLM后训练效果。

RLearner-LLM: Balancing Logical Grounding and Fluency in Large Language Models via Hybrid Direct Preference Optimization

RLearner-LLM: 通过混合直接偏好优化平衡大语言模型中的逻辑性与流畅性

Qiming Bao, Juho Leinonen, Paul Denny, Michael J. Witbrock

机构 * University of Auckland（奥克兰大学） ； Aalto University（阿alto大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(title,abstract)；large language model(title)；language model(title)

AI总结 本文提出RLearner-LLM，通过融合DeBERTa-v3 NLI信号与验证器LLM评分，解决直接偏好优化在知识密集型生成中的逻辑对齐问题，实现NLI指标显著提升。

Sequential Data Poisoning in LLM Post-Training

LLM后训练中的顺序数据投毒

Jack Sanderson, Yihan Wang, Xiaoqian Lu, Gautam Kamath, Yiwei Lu

机构 * University of Chicago（芝加哥大学） ； University of Waterloo（滑铁卢大学） ； University of Ottawa（渥太华大学） ； Vector Institute（向量研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；post-training(title,abstract)；RLHF(abstract,abstract_cn)

AI总结 提出顺序数据投毒威胁模型，研究多个攻击者在LLM后训练不同阶段（SFT和偏好数据）分别投毒，发现单一攻击者看似威胁小但多阶段协作会暴露真实漏洞，且不同管道中贡献呈加性或互补性。

Reinforcement Learning for LLM Post-Training: A Survey

为大型语言模型进行后训练的强化学习：综述

Zhichao Wang, Kiran Ramnath, Bin Bi, Shiva Kumar Pentyala, Sougata Chaudhuri, Shubham Mehrotra, Zixu, Zhu, Xiang-Bo Mao, Sitaram Asur, Na, Cheng

机构 * Salesforce ； AWS AI Labs ； Airbnb 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(summary_cn,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)

AI总结 本文综述了通过强化学习进行大型语言模型后训练的方法，分析了RLHF和RLVR等技术，并提出统一的策略梯度框架，旨在为研究人员提供技术参考。

Topology-Enhanced Alignment for Large Language Models: Trajectory Topology Loss and Topological Preference Optimization

基于拓扑的大型语言模型对齐：轨迹拓扑损失与拓扑偏好优化

Yurui Pan, Ke Xu, Bo Peng

机构 * School of Computing and Intelligent Innovation, Fudan University（复旦大学计算与智能创新学院） ； School of Economics and Management, Tongji University（同济大学经济与管理学院） ； College of Information Technology, Shanghai Ocean University（上海海洋大学信息学院） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；LLM(summary_cn,abstract)

AI总结 本文提出基于拓扑的对齐框架，通过轨迹拓扑损失和拓扑偏好优化提升大型语言模型的对齐性能，实验表明其在自动偏好指标和LLM判断评估中优于传统方法。

Comments Accepted to ACL 2026. 15 pages

Hard Negative Sample-Augmented DPO Post-Training for Small Language Models

增强的DPO后训练用于小型语言模型

Haocheng Lu, Minjun Zhu, Henry Yu

机构 * Computer Science NYU Shanghai（纽约大学上海学院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；small language model(title)；LLM(abstract,abstract_cn)

AI总结 本文提出一种轻量级后训练方法，通过MathVerifier检测结构化错误，改进DPO以提升小型模型在数学推理中的表现。

InfiFPO: Implicit Model Fusion via Preference Optimization in Large Language Models

InfiFPO：通过偏好优化实现大型语言模型的隐式模型融合

Yanggan Gu, Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Fei Wu, Hongxia Yang

机构 * The Hong Kong Polytechnic University (PolyU)（香港理工大学） ； Zhejiang University（浙江大学） ； PolyU-Daya Bay Technology and Innovation Research Institute（香港理工大学-大亚湾技术与创新研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)

AI总结 提出InfiFPO方法，通过将DPO中的参考模型替换为融合源模型，在序列级别合成多源概率，实现隐式模型融合，从而在偏好对齐阶段有效融合多个LLM并提升性能。

Journal ref NeurIPS 2025

Can Post-Training Turn LLMs into Good Medical Coders? An Empirical Study of Generative ICD Coding

后训练能否使LLM成为优秀的医学编码员？生成式ICD编码的实证研究

Ziqing Wang, Weihao Li, Shijie Chen, Yuan Luo, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；SFT(summary_cn,abstract)；post-training(title,abstract)；large language model(abstract)

AI总结 通过对比提示、监督微调和强化学习（GRPO及新提出的PHI课程）在ICD编码任务上的表现，发现后训练（尤其是SFT和GRPO）能显著提升生成式LLM的编码性能，提示评估瓶颈在于模型适应而非生成范式本身。

Large Language Model Post-Training: A Unified View of Off-Policy and On-Policy Learning

大语言模型后训练：一种统一的偏置学习与在线学习视角

Shiwan Zhao, Zhihu Wang, Xuyang Zhao, Jiaming Zhou, Caiyue Xu, Chenfei Liu, Liting Zhang, Yuhang Jia, Yanzhe Zhang, Hualong Yu, Zichen Xu, Qicheng Li, Yong Qin

机构 * Nankai University（南开大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文探讨了大语言模型后训练的统一框架，通过轨迹溯源划分偏置学习与在线学习两种模式，分析了支持扩展、策略重塑和行为固化等核心方法，强调系统设计协调性对进展的重要性。

Comments 38 pages, 1 figure, 8 tables

AAPA: Adversarially Anchored Preference Alignment for Post-Training of Large Language Models

AAPA：用于大型语言模型后训练的对抗锚定偏好对齐

Faqiang Qian, Kang An, Weikun Zhang, Ziliang Wang, Xuhui Zheng, Liangjian Wen, Yong Dai, Mengya Gao, Yichao Wu

机构 * Southwest University of Finance and Economics（西南财经大学） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)

AI总结 提出AAPA框架，通过固定轻量判别器对策略输出与专家响应进行句子级对抗锚定，增强SFT、GRPO等后训练目标，在指令遵循基准上持续提升性能。

The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model

中性面具：RLHF如何提供浅层对齐而保留大语言模型中的党派结构

Wendy K. Tam

机构 * Vanderbilt University（范德堡大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National Center for Supercomputing Applications（国家超级计算应用中心） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究RLHF对Llama 3.1 8B党派倾向的影响，发现RLHF仅压缩党派信号方差以实现中性输出，而非移除党派结构，且特征级操控可绕过对齐。

LLM Post-Training: A Deep Dive into Reasoning Large Language Models

Komal Kumar, Tajamul Ashraf, Omkar Thawakar, Rao Muhammad Anwer, Hisham Cholakkal, Mubarak Shah, Ming-Hsuan Yang, Phillip H. S. Torr, Fahad Shahbaz Khan, Salman Khan

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；large language model(title,abstract)；language model(title,abstract)

Comments 32 pages, 7 figures, 3 tables, 377 references. Github Repo: https://github.com/mbzuai-oryx/Awesome-LLM-Post-training

Certifiable Safe RLHF: Semantic Grounding and Fixed Penalty Constraint Optimization for Safer LLM Alignment

可认证安全RLHF：基于语义基础与固定惩罚约束优化的更安全大语言模型对齐

Kartik Pandit, Sourav Ganguly, Arnesh Banerjee, Shaahin Angizi, Arnob Ghosh

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； New Jersey Institute of Technology（新泽西理工学院） ； Department of Computer Engineering（计算机工程系） ； Heritage Institute of Technology（遗产理工学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对现有RLHF方法依赖奖励/成本函数和双变量调优导致性能敏感且缺乏可证明安全保证的问题，提出CS-RLHF，通过语义基础成本模型和固定惩罚约束优化，实现可认证安全对齐，效率提升至少5倍。

Narrative Flattening: How Post-Training Compresses Thematic, Affective, and Stylistic Variation in LLM Fiction

叙事扁平化：后训练如何压缩LLM小说中的主题、情感和风格变化

Zehan Li, Yutong Zhu, Siyang Wu, Honglin Bao, James A. Evans

机构 * Knowledge Lab, University of Chicago（芝加哥大学知识实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；post-training(title,abstract)；large language model(abstract)

AI总结 通过对比四个OLMo 32B检查点（Base、SFT、DPO、RLVR）在三种故事领域中的续写，发现后训练压缩了主题动态、情感强度和语言多样性，导致叙事扁平化，且专业文学领域压缩最严重。

Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training?

Agent^2 RL-Bench: 能否让LLM代理在训练后设计自主强化学习？

Wanyi Chen, Xiao Yang, Xu Yang, Tianming Sha, Qizheng Li, Zhuo Wang, Bowen Xian, Fang Kong, Weiqing Liu, Jiang Bian

机构 * Soochow University（苏州大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Stony Brook University（石溪大学） ； The University of Chicago（芝加哥大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；SFT(abstract,abstract_cn)；foundation model(abstract)

AI总结 Agent2 RL-Bench评估LLM代理在训练后自主设计、实现、调试和执行提升基础模型的管道能力，展示代理在强化学习中的智能行为与局限性。

Comments 37 pages, 7 figures, 20 tables

Reference-Free Post-Training of Open Large Language Models for Multilingual Machine Translation

面向多语言机器翻译的开源大语言模型无参考后训练

Chris Han, Pengzhi Gao, Pei Fu, Jian Luan

机构 * Xiaomi Inc.（小米公司） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)

AI总结 该研究针对多语言机器翻译，以开源大语言模型为对象，采用GRPO算法结合无参考质量评估奖励，通过检查点插值得到MiLMMT-46-v1.0，其翻译质量优于SFT模型及多款开源基线，在无参考评分上领先于谷歌翻译等专有系统，还发布了相关模型与代码。

Multimodal Integrated Knowledge Transfer to Large Language Models through Preference Optimization with Biomedical Applications

通过偏好优化整合多模态知识以增强大语言模型的多模态知识转移（生物医学应用）

Zhanliang Wang, Da Wu, Quan Nguyen, Zhuoran Xu, Kai Wang

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 MINT通过偏好优化整合多模态知识，提升大语言模型在生物医学任务中的表现，特别是在罕见遗传疾病预测和组织类型分类中取得显著成效。

From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring

从提示到偏好优化：基于LLM的自动作文评分方法比较研究

Minh Hoang Nguyen, Vu Hoang Pham, Xuan Thanh Huynh, Phuc Hong Mai, Vinh The Nguyen, Quang Nhut Huynh, Huy Tien Nguyen, Tung Le

机构 * Faculty of Information Technology, University of Science, Ho Chi Minh City, Vietnam（信息科技学院，科学大学，胡志明市，越南） ； Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；preference optimization(title,abstract)；prompting(title,abstract)；large language model(abstract)

AI总结 本文比较了基于LLM的自动作文评分方法，发现结合k-SFT和RAG的配置在F1分数上表现最佳，为英语作为第二语言的自动评分提供了新的研究方向。

Comments 19 pages, 10 figures, 7 tables

SFT-GRPO Data Overlap as a Post-Training Hyperparameter for Autoformalization

SFT-GRPO数据重叠作为自动形式化后的训练超参数

Xiaole Su, Kasey Zhang, Andy Lyu

机构 * Osmosis AI 纠错

专题命中 后训练与偏好优化 ：SFT(title,title_cn)；post-training(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究探讨SFT-GRPO数据重叠对自动形式化性能的影响，发现数据不重叠能提升编译和语义准确性，验证了数据共享程度对模型表现的重要性。

RS-DPO: A Hybrid Rejection Sampling and Direct Preference Optimization Method for Alignment of Large Language Models

Saeed Khaki, JinJin Li, Lan Ma, Liu Yang, Prathap Ramachandra

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；LLM(abstract)

Comments 16 pages, 4 figures

Calibrating Post-Training Feature Shifts for LLM Data Contamination Detection

校准用于大语言模型数据污染检测的训练后特征偏移

Zhen Yang, Mengqi Wang, Gengda Zhao, Mo Zhou, Jianwei Wang, Wenjie Zhang

机构 * The University of New South Wales（新南威尔士大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对训练后处理导致的LLM数据污染检测中特征偏移问题，提出CalibDCD校准框架，经实验可提升现有检测器的AUC和TPR@5%FPR指标。

Comments 14 pages, 7 figures. The first two authors contributed equally

TSPORec: Token Selection via Preference Optimization for LLM-Based Sequential Recommendation

TSPORec：基于偏好优化的 token 选择的 LLM 序列推荐

Wenqiao Zhu, Chao Xu, Haipang Wu, Ji Liu

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出 TSPORec 方法，通过三阶段流程与新型代理奖励选择信息 token，在提升 LLM 序列推荐性能的同时降低计算成本，实验显示其较基线方法性能提升最高 31.25%、效率提升最高 63.4%。

Comments 16 pages

Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training

几何冲突：解释和控制LLM持续微调中的遗忘

Yuanyi Wang, Yifan Yang, Su Lu, Yanggan Gu, Pengkai Wang, Wenjun Wang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Jialun Cao, Shing-Chi Cheung, Hongxia Yang

机构 * The Hong Kong Polytechnic University, PolyU（香港理工大学，PolyU） ； The Hong Kong University of Science and Technology, HKUST（香港科学与技术大学，HKUST） ； PolyU-Daya Bay Technology and Innovation Research Institute（PolyU-大亚湾技术与创新研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究LLM持续微调中的遗忘现象，通过任务几何分析揭示遗忘驱动因素及控制方法，提出GCWM算法提升模型保留与最终性能。

Post-Training Large Language Models via Reinforcement Learning from Self-Feedback

Carel van Niekerk, Renato Vukovic, Benjamin Matthias Ruppik, Hsien-chin Lin, Milica Gašić

机构 * Heinrich Heine Universität（海因里希·海因大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；LLM(abstract)

Preference Optimization Drives Monoculture in LLM Prediction Markets

偏好优化导致LLM预测市场中的单一文化

James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(title,abstract)；SFT(abstract,abstract_cn)

AI总结 研究发现，使用直接偏好优化（DPO）微调的LLM代理在预测市场中产生高度相关的错误，导致集体预测能力远低于独立代理数量，且该现象由偏好优化驱动。

Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet

探索用于生物医学数据到文本生成的小语言模型的训练后对齐：以药品说明书为例

Xi Yang, Guodong Liu, Chuqin Li, Fan Wu, Ergin Soysal, Min Jiang, Xing He, Jiang Bian, Yi Guo, Shams Zaman, Thomas Fuchs, Todd Sanger, Yonghui Wu

专题命中 后训练与偏好优化 ：language model(title,abstract)；small language model(title,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)

AI总结 该研究对生物医学数据到文本生成任务训练小语言模型的方法进行比较分析，在药品说明书数据集上用基于Qwen的SLMs探索多种训练后方法，通过整理数据评估模型，结果显示对齐后的SLMs性能优异，GRPO跨数据集性能最稳健。

Comments 10 pages, 1 figures

Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior

后训练配方，而非模型家族，塑造多智能体LLM对话行为

Luyang Zhang, Jialu Wang, Fei Xue, Yi-Yun Chu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过大规模语料库和因子实验发现，后训练配方（如推理蒸馏）对多LLM对话行为（如回避性回答）的影响超过模型家族，表明模型家族不能完全代表对话多样性。

PageLLM: A Multi-Grained Reward Framework for Whole-Page Optimization with Large Language Models

PageLLM：面向整页优化的大语言模型多粒度奖励框架

Xinyuan Wang, Liang Wu, Dongjie Wang, Yanjie Fu

机构 * Arizona State University（亚利桑那州立大学） ； Nokia（诺基亚） ； University of Kansas（堪萨斯大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对整页优化中人工标注成本高和页面级连贯性与项目级放置粒度不匹配的问题，提出PageLLM框架，通过将隐式反馈解耦为粗粒度页面级奖励和细粒度项目级奖励，结合PPO的RLHF进行微调，显著提升排序性能并在线上部署中取得收益。

Scaling Behaviors of LLM Reinforcement Learning Post-Training: An Empirical Study in Mathematical Reasoning

LLM强化学习后训练的扩展行为：数学推理中的实证研究

Zelin Tan, Hejia Geng, Xiaohang Yu, Mulei Zhang, Guancheng Wan, Yifan Zhou, Qiang He, Xiangyuan Xue, Heng Zhou, Yutao Fan, Zhongzhi Li, Zaibin Zhang, Guibin Zhang, Chen Zhang, Zhenfei Yin, Philip Torr, Lei Bai

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Oxford（牛津大学） ； Imperial College London（伦敦帝国学院） ； University of Georgia（佐治亚大学） ； The Chinese University of Hong Kong（香港中文大学） ； Chinese Academy of Sciences（中国科学院） ； Dalian University of Technology（大连理工大学） ； National University of Singapore（新加坡国立大学） ； Wuhan University（武汉大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过实证研究探讨了LLM后训练强化学习中的扩展行为，重点分析了模型规模、数据量和计算预算对数学推理性能的影响，揭示了学习效率的饱和趋势及高质量数据重复利用的有效性。

Comments V4 version:This Paper has been accepted by ACL 2026 Main Conference

Tracing the Representation Geometry of Language Models from Pretraining to Post-training

Melody Zixuan Li, Kumar Krishna Agrawal, Arna Ghosh, Komal Kumar Teru, Adam Santoro, Guillaume Lajoie, Blake A. Richards

机构 * Computer Science, McGill University（麦吉尔大学计算机科学系） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； UC Berkeley（加州大学伯克利分校） ； G o o g l e , Paradigms of Intelligence Team（谷歌，智能范式团队） ； Mathematics and Statistics, Université de Montréal（蒙特利尔大学数学与统计学系） ； Neurology & Neurosurgery and Montreal Neurological Institute, McGill University（神经病学与神经外科及蒙特利尔神经研究所，麦吉尔大学） ； CIFAR Learning in Machines & Brains Program（CIFAR 机器与大脑学习计划） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；pretraining(title,abstract)；post-training(title,abstract)；large language model(abstract)

Comments 33 pages, 14 figures, 9 tables