大模型对齐与安全

STARS: Synchronous Token Alignment for Robust Supervision in Large Language Models

STARS: 同步标记对齐用于大语言模型中稳健的监督

Mohammad Atif Quamar, Mohammad Areeb, Mikhail Kuznetsov, Muslum Ozgur Ozmen, Z. Berkay Celik

机构 * Purdue University（普渡大学） ； Amazon（亚马逊） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；分类 cs.CL

AI总结 STARS通过同步标记对齐方法提升大语言模型的对齐性能，实现稳健监督和高效系统吞吐。

Density-Guided Response Optimization: Community-Grounded Alignment via Implicit Acceptance Signals

密度引导的响应优化：通过隐含接受信号实现社区导向的对齐

Patrick Gerard, Svitlana Volkova

机构 * Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） ； Aptima Inc.（Aptima公司） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过隐含接受信号实现社区导向的对齐，无需显式偏好标签，提升语言模型在多样社区中的适应性与表现。

Comments 27 Pages

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

Skywork-Reward-V2: 通过人机协同扩大偏好数据整理

Chris Yuhao Liu, Liang Zeng, Yuzhen Xiao, Jujie He, Jiacai Liu, Chaojie Wang, Rui Yan, Wei Shen, Fuxiang Zhang, Jiacheng Xu, Yang Liu, Yahui Zhou

机构 * Research, Skywork AI（2050研究, Skywork AI） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Skywork-Reward-V2通过人机协同扩大偏好数据整理，提出SynPref-40M数据集和两阶段流程，训练出八种参数不同的奖励模型，在多个基准中取得最佳性能。

Comments ICLR 2026 Poster

Why Does RLAIF Work At All?

为什么RLAIF真的有效？

Robin Young

机构 * Department of Computer Science and Technology University of Cambridge（计算机科学与技术系剑桥大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出潜在价值假设，解释RLAIF通过激活预训练编码的价值方向实现自我改进，并统一了相关实证发现。

Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback

超越二元偏好：基于顺序反馈的奖励建模原理框架

Amirhossein Afsharrad, Ruida Zhou, Luca Viano, Sanjay Lall, Mohammad Ghavamzadeh

机构 * Stanford University（斯坦福大学） ； Amazon AGI（亚马逊人工智能研究） ； EPFL（瑞士联邦理工学院） ； Qualcomm AI Research（高通人工智能研究） ； Aktus AI 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于顺序反馈的奖励建模原理框架，通过离散顺序回归方法，学习阈值参数以捕捉偏好顺序结构，实现更有效的细粒度人类反馈利用。