大模型对齐与安全

Generalization Limits of Reinforcement Learning Alignment

强化学习对齐的泛化极限

Haruhi Shida, Koo Imai, Keigo Kansa

机构 * Aladdin Security Inc（阿拉丁安全公司） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了强化学习对齐技术的泛化能力限制，提出复合越狱方法，通过结合多种攻击技术提高攻击成功率，验证了安全训练无法广泛泛化 hypothesis。

Comments 7 pages, 2 figures, 2 tables, accepted at JSAI 2026

Random Is Hard to Beat: Active Selection in online DPO with Modern LLMs

随机难以超越：在线DPO中的主动选择

Giyeong Oh, Junghyun Lee, Jaehyun Park, Youngjae Yu, Wonho Bae, Junhyug Noh

机构 * Seoul National University（首尔大学） ； Ewha Womans University（梨花女子大学） ； KAIST（韩国科学技术院） ； UBC（不列颠哥伦比亚大学） 纠错

专题命中 偏好对齐 ：DPO(title,abstract)；harmlessness(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在线DPO中主动选择策略的有效性，发现即使在强先验基础上，主动选择的计算开销难以抵消简单随机采样带来的多样性优势。

Comments first commit

Reinforcement Learning from Human Feedback: A Statistical Perspective

基于人类反馈的强化学习：统计学视角

Pangpang Liu, Chengchun Shi, Will Wei Sun

机构 * Department of Biostatistics, Yale University（耶鲁大学生物统计学系） ； Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计学系） ； Mitch Daniels School of Business, Purdue University（普渡大学米奇·丹尼尔斯商学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文从统计学角度探讨了基于人类反馈的强化学习，分析了其在大语言模型对齐中的核心方法与挑战，包括奖励模型学习和策略优化，并讨论了相关统计模型和最新研究进展。

TARS: MinMax Token-Adaptive Preference Strategy for Hallucination Reduction in MLLMs

TARS：最小最大令牌自适应偏好策略用于减少多模态大语言模型中的幻觉

Kejia Zhang, Keda Tao, Zhiming Luo, Chang Liu, Jiasheng Tang, Huan Wang

机构 * Xiamen University（厦门大学） ； Westlake University（西湖大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； AWS AI Lab, Amazon（亚马逊AWS AI实验室） ； Hupan Laboratory（湖畔实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 TARS通过最小最大优化问题重构直接偏好优化，通过对抗性令牌扰动减少多模态大语言模型中的幻觉，通过频域对齐损失提升隐藏表征，优于标准DPO并超越数据增强方法。

Beyond Semantic Manipulation: Token-Space Attacks on Reward Models

超越语义操控：奖励模型中的标记空间攻击

Yuheng Zhang, Mingyue Huo, Minghao Zhu, Mengxue Zhang, Nan Jiang

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Independent Researcher（独立研究员） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Token Mapping Perturbation Attack（TOMPA）框架，通过在标记空间中进行对抗优化，发现非语言标记模式以提升奖励模型性能，揭示了当前RLHF流程的关键漏洞。