大模型对齐与安全

When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming

当RLHF失败时：奖励黑客、崩溃和评估者博弈的机制分类

Zelalem Abahana, David Evans, Satish Mahadevan Srinivasan, Matjaz Gams

机构 * First Citizens Bank（第一公民银行） ； Alma Mater Europaea University（欧洲大学） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；DPO(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过PPO、DPO等方法的对比实验，提出了一种基于奖励和评估者分数方向的机制分类法，将RLHF失败模式分类为可定位、可预测的训练动态。

Comments 20 pages, 8 figures; includes code, artifacts, and live demo

Dual-Difficulty Curriculum Learning for Direct Preference Optimization

用于直接偏好优化的双难度课程学习

Mengyang Li, Haozhan Geng, Zhong Zhang, Shuang Liu

机构 * Tianjin Key Laboratory of Wireless Mobile Communications and Power Transmission（天津无线移动通信与电力传输重点实验室） ； Tianjin Normal University（天津师范大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(abstract)；分类 cs.AI

AI总结 研究针对大语言模型对齐中课程学习依赖一维难度视图的问题，提出将对齐难度重构为二维空间，开发DM-Curri-DPO框架，引入GSP-Curri-DPO分组自定进度学习框架，实验表明该方法提升了数据效率与鲁棒性，为LLM对齐建立新范式。

Comments We found a critical flaw in the prompt complexity metric, which affects the 2D curriculum grid construction and leads to potentially invalid comparisons. Since this undermines our main conclusions, we are withdrawing the paper and will revise the methodology before resubmission

PLURAL: A Global Dataset for Value Alignment

PLURAL：一个用于价值对齐的全球数据集

Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究针对大语言模型反映西方价值观问题，引入基于IVS的PLURAL数据集，通过两阶段管道生成偏好三元组，经三种方式评估，结果显示其含价值引导可学习信号，能为多元对齐提供资源。

CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging

CriterAlign: 以标准为中心的推理对齐用于代码偏好判断

Zhenyu Li, Aleksandar Cvejic, Zehui Chen, Peter Wonka

机构 * KAUST（卡塔尔人工智能研究 institute） ； ByteDance（字节跳动） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.AI

AI总结 本文提出CriterAlign，一种以标准为中心的推理对齐框架，通过直接的标准级 pairwise 判断、tie-driven 标准细化、swap-consistency 过滤和最终 pairwise 合成，改进了代码偏好判断的准确性，同时引入Human-Preference-Aligned Guidance (HPAG)来提升性能。

MentalHospital: A Virtual Environment for Evaluating Psychiatric Clinical Encounters

精神病院：一个用于评估精神科临床问诊的虚拟环境

Yuming Yang, Xiao Sun, Yuanwei Zou, Zhengxiao Wu, Yun Chen, Jiang Zhong, Haoyang Zeng, Jingwang Huang, Kaiwen Wei

机构 * School of Computer Science, Chongqing University（重庆大学计算机科学学院） ； School of Computer Science, Hunan University（湖南大学计算机科学学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 研究针对大语言模型在精神科临床问诊评估不足的问题，引入MentalHospital虚拟环境，实例化S.O.A.P.工作流程，用双轨协议评估，开发MentalEval，经测试其具有临床保真度且与专家高度一致，指出大语言模型在精神状态评估上落后临床医生。