大模型对齐与安全

Explaining and Breaking the Safety-Helpfulness Ceiling via Preference Dimensional Expansion

通过偏好维度扩展解释并打破安全与有益性天花板

ShiYing Huang, Liang Lin, Yuer Li, Kaiwen Luo, Zhenhong Zhou, An Zhang, Junhao Dong, Kun Wang, Zhigang Zeng

机构 * Huazhong University of Science and Technology（华中科技大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Chongqing University（重庆大学） 纠错

专题命中 偏好对齐 ：safety(title)；alignment(abstract)；harmlessness(abstract)；分类 cs.AI

AI总结 本文提出MORA方法，通过多维奖励整合解决多目标对齐中的安全与有益性矛盾，实验显示在序列对齐中提升5%-12.4%，同时对齐中整体奖励提升4.6%。

PRISM-X: Experiments on Personalised Fine-Tuning with Human and Simulated Users

PRISM-X：基于人类和模拟用户的人个性化微调实验

Hannah Rose Kirk, Liu Leqi, Fanzhi Zeng, Henry Davidson, Bertie Vidgen, Christopher Summerfield, Scott A. Hale

机构 * University of Oxford（牛津大学） ； UK AI Security Institute（英国人工智能安全研究所） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Mercor ； Meedan 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL

AI总结 研究通过大规模内侧实验评估个性化语言模型在多轮对话中的表现，发现基于偏好微调的P-DPO方法优于通用模型和个性化提示，但个性化数据训练收益有限，且微调会放大趋炎附势行为，可能带来长期负面影响。

Entropy Aware Reward Guidance for Diffusion Language Model Alignment

基于熵的奖励引导用于扩散语言模型对齐

Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出EntRGi机制，解决离散扩散语言模型中无法通过自然输出区分的问题，通过动态插值连续token放松与采样硬token，提升奖励模型可靠性与优化精度。

Comments Preprint

Teaching Language Models How to Code Like Learners: Conversational Serialization for Student Simulation

教语言模型如何像学习者一样编程：用于学生模拟的对话序列化

Charles Koutcheme, Juho Leinonen, Arto Hellas

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出通过对话序列化技术，直接从真实学生编程过程数据训练开放权重的人工编程学习者，提升模型在调试行为模拟中的能力。

Comments 8 pages, 2 figures, 2 tables. Accepted to Educational Data Mining 2026

The End Justifies the Mean: A Linear Ranking Rule for Proportional Sequential Decisions

目的 justify 平均：一种线性排名规则用于比例序列决策

Carmel Baharav, Niclas Boehmer, Bailey Flanigan, Maximilian T. Wittmann

机构 * MIT, USA（美国麻省理工学院） ； Hasso Plattner Institute, University of Potsdam, Germany（德国波茨坦大学哈索·普拉特纳研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文研究了如何通过线性排名规则在多次决策中实现比例性，提出角平均作为满足长期比例性的简单规则，并展示了其在高分歧情况下的优势。

CROP: Expert-Aligned Image Cropping via Compositional Reasoning and Optimizing Preference

CROP：通过组合推理和优化偏好实现专家对齐的图像裁剪

Zhitong Dong, Chao Li, Jie Yu, Hao Chen

机构 * Southeast University（东南大学） ； Key Laboratory of New Generation Artificial Intelligence Technology（新一代人工智能技术重点实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出CROP方法，通过组合推理和优化偏好，解决传统图像裁剪方法在复杂场景中难以做出组合权衡和缺乏适应性推理的问题，提升裁剪结果与专家审美的一致性。

SpatialReward: Bridging the Perception Gap in Online RL for Image Editing via Explicit Spatial Reasoning

SpatialReward: 通过显式空间推理弥合在线强化学习中图像编辑的感知差距

Yancheng Long, Yankai Yang, Hongyang Wei, Wei Chen, Tianke Zhang, Haonan fan, Changyi Liu, Kaiyu Jiang, Jiankang Chen, Kaiyu Tang, Bin Wen, Fan Yang, Tingting Gao, Han Li, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生学院，清华大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出SpatialReward，通过显式空间推理提升在线强化学习中图像编辑的感知准确性，其在MMRB2和EditReward-Bench上表现优异，并在MultiEditReward-Bench上超越专用评估器。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Structure from Strategic Interaction & Uncertainty: Risk Sensitive Games for Robust Preference Learning

基于战略互动与不确定性的结构：用于鲁棒偏好学习的风险敏感游戏

Max Horwitz, Jake Gonzales, Eric Mazumdar, Lillian J. Ratliff

专题命中 偏好对齐 ：safety(abstract)

AI总结 本文提出风险敏感偏好游戏，通过优化凸风险度量来提升鲁棒性，建立稳定算法并控制偏置，实验证明其在不同数据层的鲁棒性。