大模型对齐与安全

PEBS: Per-rater Empirical-Bayes Shrinkage for RLHF Reward-Model Calibration

PEBS: 用于RLHF奖励模型校准的每评分者经验贝叶斯收缩

Arnav Raj

专题命中 偏好对齐 ：RLHF(title,title_cn)；分类 cs.AI、cs.LG；alignment(comments)

AI总结 针对RLHF中奖励模型忽略评分者个体差异的问题，提出PEBS方法，对每个评分者拟合仿射校准器并应用经验贝叶斯收缩，在PRISM和PluriHarms数据集上分别降低RMSE 8.58%和9.66%。

Comments Accepted at the ICML 2026 Workshop on Pluralistic Alignment. Code: https://github.com/deadsmash07/pebs-pluralistic

Qwen-Image-2.0-RL Technical Report

Qwen-Image-2.0-RL 技术报告

Yixian Xu, Kaiyuan Gao, Yuxiang Chen, Yilei Chen, Zecheng Tang, Zihao Liu, Zikai Zhou, Deqing Li, Hao Meng, Kuan Cao, Jiahao Li, Jie Zhang, Liang Peng, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiaoyue Chen, Yan Shu, Yanran Zhang, Yi Wang, Yu Wu, Yujia Wu, Zekai Zhang, Zhendong Wang, Xiao Xu, Kun Yan, Chenfei Wu

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.LG

AI总结 提出基于强化学习与在线蒸馏的后训练流程，通过复合奖励模型和GRPO框架提升扩散模型的视觉质量与指令遵循能力，在多个基准上取得显著提升。

Comments 16 pages, 6 figures, 1 table

DiARC: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

DiARC：区分正负样本有助于提升大型语言模型的类ARC推理能力

Yuxuan Yang, Feiyang Li, Yile Wang

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出DiARC方法，通过构建偏好对（正负样本）来提升大型语言模型在类ARC任务上的推理能力，实验表明该方法在多个基准上持续改进基线模型。

Democratic ICAI: Debating Our Way to Steering Principles from Preferences

民主ICAI：通过辩论从偏好中推导指导原则

Kevin Kingslin, Anish Natekar, Ashutosh Ranjan, Vivek Srivastava, Savita Bhat, Shirish Karande

机构 * TCS Research（TCS研究） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 提出Democratic ICAI方法，通过结构化角色辩论收集多元理由，从偏好中提取更全面的指导原则，提升偏好预测准确性。

Comments Accepeted to the ICLR 2026 HCAIR Workshop, 40 pages

Joint Reward Modeling: Internalizing Chain-of-Thought for Efficient Visual Reward Models

联合奖励建模：将思维链内化以实现高效的视觉奖励模型

Yankai Yang, Yancheng Long, Hongyang Wei, Wei Chen, Tianke Zhang, Kaiyu Jiang, Haonan Fan, Changyi Liu, Jiankang Chen, Kaiyu Tang, Bin Wen, Fan Yang, Tingting Gao, Han Li, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出联合奖励建模（JRM），通过共享视觉-语言骨干联合优化偏好学习和语言建模，将生成模型的语义推理能力内化到判别表示中，实现快速准确评估，在MMRB2和EditReward-Bench上取得最优结果。