大模型对齐与安全

Learning Where It Matters: Geometric Anchoring for Robust Preference Alignment

在关键领域学习：用于鲁棒偏好对齐的几何锚定

Youngjae Cho, Jongsuk Kim, Ji-Hoon Kim

机构 * PYLER ； KAIST（韩国科学技术院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 GAPO通过动态几何锚定机制改进偏好对齐，通过局部敏感度自适应调整偏好对重要性，减少噪声影响，提升模型鲁棒性。

Comments Under Review

GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

GRLO：从零开始在开放环境中的通用强化学习

Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GRLO研究从少量交互数据中训练的RLHF在开放环境中的泛化能力，探索其对话能力是否能迁移至数学推理和代码生成等下游任务，展示出高效且低成本的训练方法。

SDOF: Taming the Alignment Tax in Multi-Agent Orchestration with State-Constrained Dispatch

SDOF：通过状态约束调度驯服多智能体编排中的对齐税

Zhantao Wang

机构 * Digital China（数字中国） 纠错

专题命中 偏好对齐 ：alignment(title)；RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 SDOF通过状态约束调度框架，利用强化学习和有限状态自动机提升多智能体任务执行的准确性和可控性，验证了其在招聘系统中的有效性。

Comments 12 pages, 4 figures, 14 tables

What Is Preference Optimization Doing, and Why?

偏好优化在做什么，为什么这样做？

Yue Wang, Qizhou Wang, Zizhuo Zhang, Gang Niu, Bo Han, Masashi Sugiyama

机构 * TMLR Group, Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系 TMLR 组） ； RIKEN AIP（理化学研究所 AIP 分室） ； The University of Tokyo（东京大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.LG

AI总结 本文分析了偏好优化中DPO和PPO的优化动态，揭示了其算法行为差异及根本原因，探讨了正学习、负学习和损失再加权的作用，并通过消融研究验证了这些动态对优化效率和性能的影响。

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

ActiveDPO: 用于高效对齐的主动直接偏好优化

Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联盟研究技术中心） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 ActiveDPO通过理论支撑的非线性奖励函数选择方法，利用LLM自身参数化奖励模型，提升对齐效率和数据收集效果。

Comments Accepted at ICLR 2026

Reward Auditor: Inference on Reward Modeling Suitability in Real-World Perturbed Scenarios

奖励审计员：在现实扰动场景中对奖励建模适用性的推断

Jianxiang Zang, Yongda Wei, Ruxue Bai, Shiyu Jiang, Nijia Mo, Binhong Li, Qiang Sun, Hui Liu

机构 * School of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； School of Statistics and Data Science, Shanghai University of International Business and Economics（上海国际商务经济学院统计与数据科学学院） ； Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）数据科学与分析方向） 纠错

专题命中 偏好对齐 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 本文提出奖励审计员框架，用于评估奖励模型在现实扰动场景中的适用性，通过统计显著性和效应量分析模型的可靠性与漏洞严重性。