语言大模型 / LLM

Reusing Embeddings: Reproducible Reward Model Research in Large Language Model Alignment without GPUs

Hao Sun, Yunyi Shen, Jean-Francois Ton, Mihaela van der Schaar

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators

Yinhong Liu, Han Zhou, Zhijiang Guo, Ehsan Shareghi, Ivan Vulić, Anna Korhonen, Nigel Collier

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

Comments This paper has been accepted by COLM 2024

Why Does ChatGPT "Delve" So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models

Tom S. Juzek, Zina B. Ward

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

Comments 15 pages, 8 figures, The 31st International Conference on Computational Linguistics (COLING 2025)

Gradient Cuff: Detecting Jailbreak Attacks on Large Language Models by Exploring Refusal Loss Landscapes

Xiaomeng Hu, Pin-Yu Chen, Tsung-Yi Ho

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

Comments Accepted by NeurIPS 2024. Project page: https://huggingface.co/spaces/TrustSafeAI/GradientCuff-Jailbreak-Defense

Self-Play Preference Optimization for Language Model Alignment

Yue Wu, Zhiqing Sun, Huizhuo Yuan, Kaixuan Ji, Yiming Yang, Quanquan Gu

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(title,abstract)；LLM(abstract)；RLHF(abstract)

Comments 27 pages, 4 figures, 5 tables

WPO: Enhancing RLHF with Weighted Preference Optimization

Wenxuan Zhou, Ravi Agrawal, Shujian Zhang, Sathish Reddy Indurthi, Sanqiang Zhao, Kaiqiang Song, Silei Xu, Chenguang Zhu

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

Comments EMNLP 2024

ABC Align: Large Language Model Alignment for Safety & Accuracy

Gareth Seneque, Lap-Hang Ho, Ariel Kuperman, Nafise Erfanian Saeedi, Jeffrey Molendijk

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

Comments 23 pages, 4 figures

Characterizing Large Language Model Geometry Helps Solve Toxicity Detection and Generation

Randall Balestriero, Romain Cosentino, Sarath Shekkizhar

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

RLHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs

John Dang, Arash Ahmadian, Kelly Marchisio, Julia Kreutzer, Ahmet Üstün, Sara Hooker

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；RLHF(title)；LLM(abstract)；large language model(abstract)

Active Preference Learning for Large Language Models

William Muldrew, Peter Hayes, Mingtian Zhang, David Barber

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；RLHF(abstract)；preference optimization(abstract)

Comments 13 pages, 5 figures, 6 tables

SAIL: Self-Improving Efficient Online Alignment of Large Language Models

Mucong Ding, Souradip Chakraborty, Vibhu Agrawal, Zora Che, Alec Koppel, Mengdi Wang, Amrit Bedi, Furong Huang

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

Comments 24 pages, 6 figures, 3 tables

Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game

Pengyu Cheng, Yifan Yang, Jian Li, Yong Dai, Tianhao Hu, Peixin Cao, Nan Du, Xiaolong Li

专题命中 后训练与偏好优化 ：LLM(title,abstract)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

Comments Accepted by ACL2024 findings

SelfIE: Self-Interpretation of Large Language Model Embeddings

Haozhe Chen, Carl Vondrick, Chengzhi Mao

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

CogBench: a large language model walks into a psychology lab

Julian Coda-Forno, Marcel Binz, Jane X. Wang, Eric Schulz

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；RLHF(abstract)；prompting(abstract)

Large Language Model Unlearning

Yuanshun Yao, Xiaojun Xu, Yang Liu

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF

Yi Dong, Zhilin Wang, Makesh Narsimhan Sreedhar, Xianchao Wu, Oleksii Kuchaiev

专题命中 后训练与偏好优化 ：SFT(title,abstract)；RLHF(title,abstract)；large language model(abstract)；language model(abstract)

Comments Findings of EMNLP 2023

OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment

OptimismBench：语言模型判断中的偏差预测与对齐效应

Seonglae Cho, Adriano Koshiyama

机构 * Holistic AI（整体人工智能公司） ； University College London（伦敦大学学院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；post-training(abstract)

AI总结 本研究推出OptimismBench基准，检测到多数LLM存在乐观方向偏差，且对齐会使模型概率产生偏差，下游流程会默认继承该偏差。

Reliability-Aware LLM Alignment from Inconsistent Human Feedback

从不一致的人类反馈中实现可靠性感知的大语言模型对齐

Jingyi Huang, Ruohan Zong, Yujun Feng, Liran Ma, Lanyu Shang, Yang Zhang

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究如何解决人类反馈强化学习中人类注释不一致问题，提出可靠性引导的偏好优化框架RGPO，通过估计注释者可靠性、推断潜在真实标签及动态调整训练目标，有效减少训练数据不一致性和噪声，性能优于现有基线。

Dual-Difficulty Curriculum Learning for Direct Preference Optimization

用于直接偏好优化的双难度课程学习

Mengyang Li, Haozhan Geng, Zhong Zhang, Shuang Liu

机构 * Tianjin Key Laboratory of Wireless Mobile Communications and Power Transmission（天津无线移动通信与电力传输重点实验室） ； Tianjin Normal University（天津师范大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型对齐中课程学习依赖一维难度视图的问题，提出将对齐难度重构为二维空间，开发DM-Curri-DPO框架，引入GSP-Curri-DPO分组自定进度学习框架，实验表明该方法提升了数据效率与鲁棒性，为LLM对齐建立新范式。

Comments We found a critical flaw in the prompt complexity metric, which affects the 2D curriculum grid construction and leads to potentially invalid comparisons. Since this undermines our main conclusions, we are withdrawing the paper and will revise the methodology before resubmission

RolloutPipe: Overlapping Pipelined Rollout and Training in Disaggregated On-Policy LLM Reinforcement Learning

RolloutPipe: 分离式在线策略LLM强化学习中的流水线化Rollout与训练重叠

Rongjian Chen, Jianmin Hu, Kejiang Ye, Minxian Xu

机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对分离式RLVR系统中rollout与训练阶段空闲问题，提出RolloutPipe框架，通过完整组流水线（CGP）和前沿组调度（FGD）实现训练与rollout重叠，保持在线策略正确性，减少训练等待时间30.7%-42.3%。

Comments 15 pages

Journal ref Proceedings of the 2026 International Conference on Cognitive Computing (ICCC 2026)

NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research

NebulaExp-8B：基于全尺度消融研究的经验性后训练流程

Qiaobo Hao, Yangqian Wu, Shunyi Wang, Zhongjian Zhang, Ziqun Li, Yayin He, Muqing Li, Chen Zhong

机构 * ZTE NebulaL0 Post-Training Team（中兴通讯NebulaL0后训练团队） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出NebulaExp透明后训练流程，基于Qwen3-8B-base，通过数据清洗、三阶段SFT和GRPO RL优化指令与推理分支，并探索OPD/MOPD替代RL，在8B模型上实现性能提升。

Comments 29 pages, 8 figures

Learning at the Right Pace: Adaptive Data Scheduling Improves LLM Reinforcement Learning

以合适的速度学习：自适应数据调度改进大语言模型强化学习

Zicheng Xu, Ruixuan Zhang, Yu-Neng Chuang, Xiuyi Lou, Hoang Anh Duy Le, Oren Gal, Alexander S. Szalay, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Rice University（莱斯大学） ； University of Haifa（海法大学） ； Workato ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对LLM强化学习后训练中均匀采样忽视数据语义和策略变化的问题，提出自适应数据调度框架ADS，通过语义聚类和策略边界样本选择实现双层级调度，在三个LLM和七个推理基准上平均准确率提升5.2%。

A First-Principles Derivation of LLM Policy Optimization: From Expected Reward to GRPO and Its Structural Extensions

LLM策略优化的第一性原理推导：从期望奖励到GRPO及其结构扩展

Jianghan Shen, Siqi Luo, Yue Li, Jiyao Liu, Wanying Qu, Yi Zhang, Ziyan Huang, Tianbin Li, Ming Hu, Xiaohong Liu, Yirong Chen, Junjun He

机构 * Nanjing University（南京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Fudan University（复旦大学） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 本文从第一性原理出发，基于轨迹概率和奖励两个轴，统一分析了从REINFORCE、PPO到GRPO及其变体的LLM策略优化方法，揭示了设计选择背后的原理和复合失败模式。

BayLing-Duplex: Native Full-Duplex Speech Dialogue with a Single Autoregressive LLM

BayLing-Duplex: 单一自回归LLM的原生全双工语音对话

Qingkai Fang, Shoutao Guo, Yang Feng

机构 * Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（中国科学院计算技术研究所智能信息处理重点实验室） ； Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 提出BayLing-Duplex，一种原生全双工语音语言模型，通过单个自回归LLM决定何时听、说和停止，无需外部VAD模块，仅用少量特殊标记实现，在少量微调数据上达到高交互成功率并提升响应质量。

Comments Code: https://github.com/BayLing-Models/BayLing-Duplex

CoRe: A Continuously Reward-Finetuned LLM Query Rewriter for Multi-Stage Context-Aware Relevance in Web-Scale Video Search

CoRe：一种持续奖励微调的LLM查询重写器，用于大规模视频搜索中的多阶段上下文感知相关性

Yilin Wen, Rong Yang, Xiaojia Chang, Hong Sun, Gefu Tang, Chunhui Liu, Jeffrey Chen, Zeyu Ma, Lisong Qiu, Xiaochuan Fan, Congjia Yu, Quan Zhou, Yuheng Chen, Zian Wang

机构 * TikTok 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(abstract)；分类 cs.CL

AI总结 提出CoRe系统，通过半在线混合偏好优化和乘法奖励比，实现每周重新部署的LLM查询重写器，在多阶段视频搜索中显著降低变更查询率并提升相关性指标。

Comments 12 pages, 3 figures

Detecting Lookahead Bias in LLM Forecasts

检测LLM预测中的前瞻偏差

Zhenyu Gao, Wenxi Jiang, Yutong Yan

机构 * Department of Finance, CUHK Business School（CUHK商学院金融系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出统计程序检测大语言模型经济预测中的前瞻偏差，通过日期回忆查询估计前瞻倾向（LAP），并验证LAP与预测交互项在精度回归中的显著性，应用于新闻标题和财报电话会议预测任务。

Rethinking the Divergence Regularization in LLM RL

重新思考LLM强化学习中的散度正则化

Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

机构 * Tencent Hunyuan（腾讯混元） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； NUS（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对PPO等方法的硬裁剪或硬掩码在长尾词汇中分布偏移代理不佳的问题，提出DRPO，用平滑的优势加权二次正则化替代硬掩码，保持信任区域几何的同时提供连续梯度权重，提升训练稳定性和效率。

Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models

多目标偏好优化：提升生成模型的人类对齐

Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；preference optimization(title,abstract)；LLM(abstract_cn)；post-training(abstract)

AI总结 针对RLHF和偏好优化方法假设单一目标的问题，提出多目标偏好优化框架MOPO，通过约束KL散度最大化主要目标并保障次要目标下限，在合成基准和人类偏好数据上实现帕累托最优策略。

Comments arXiv admin note: text overlap with arXiv:2406.18853 by other authors

Breaking the Chain: A Causal Analysis of LLM Faithfulness to Intermediate Structures

打破链条：对LLM对中间结构忠实性的因果分析

Oleg Somov, Mikhail Chaichuk, Gleb Ershov, Karim Vafin, Mikhail Seleznyov, Alexander Panchenko, Elena Tutubalina

机构 * AIRI ； MIPT（莫斯科国立交通大学） ； HSE University（高等经济大学） ； Avito AI Lab（Avito人工智能实验室） ； Skoltech（斯克里普钦科技学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(abstract)；prompting(abstract)；分类 cs.AI

AI总结 研究探讨了在模式引导推理（SGR）管道中，LLM对中间结构的忠实性，发现尽管模型在自身中间结构上自洽，但对干预的响应不足，当将最终决策的推导委托给外部工具时，这种不稳定性显著降低。

Comments 20 pages, 4 figures, 7 tables

GREAT: Generalizable Backdoor Attacks in RLHF via Emotion-Aware Trigger Synthesis

GREAT: 通过情感感知触发器在RLHF中实现可泛化的后门攻击

Subrat Kishore Dutta, Yuelin Xu, Piyush Pant, Xiao Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍茨信息安全中心） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；prompting(abstract)；分类 cs.LG

AI总结 提出GREAT框架，利用情感感知触发器在RLHF中构造自然分布后门，通过潜在空间聚类和多样性提示策略生成愤怒触发器，实现对未见触发器的泛化攻击。