大模型对齐与安全 - arXivDaily 专题

2605.10998 2026-05-13 cs.CR cs.AI 92%

Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs

少样本真正无害的DPO攻击用于对抗LLMs

Sangyeon Yoon, Wonje Jeung, Yoonjun Cho, Dongjae Jeon, Albert No

机构 * Yonsei University（延世大学）

专题命中偏好对齐：DPO(title,title_cn)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结研究提出一种利用10对无害偏好对的真正无害DPO攻击，通过优化模型偏好来减少拒绝行为，从而在对抗LLMs时取得高成功率。

2602.07892 2026-05-13 cs.LG cs.CL 91%

Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection

安全对齐作为持续学习：通过正交梯度投影缓解对齐税

Guanglong Sun, Siyuan Zhang, Liyuan Wang, Jun Zhu, Hang Su, Yi Zhong

机构 * School of Life Sciences, IDG/McGovern Institute for Brain Research（生命科学学院，IDG/麦戈文脑科学研究所）； Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center（计算机科学与技术系，人工智能研究所，清华大学-博世联合机器学习中心，THBI实验室，BNRist中心）； Tsinghua University, Beijing, China（清华大学，北京，中国）

专题命中偏好对齐：alignment(title,abstract)；safety(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结本文通过持续学习视角研究安全对齐与通用能力退化之间的权衡，提出OGPSA方法通过正交梯度投影提升安全性和实用性，实验显示在不同训练流程中显著改善安全-效用权衡。

2605.12339 2026-05-13 cs.LG cs.AI 88%

BSO: Safety Alignment Is Density Ratio Matching

BSO：安全对齐是密度比匹配

Tien-Phat Nguyen, Truong Nguyen, Thin Nguyen, Duy Minh Ho Nguyen, Ngoc-Thanh Dinh, Trung Le

机构 * Hanoi University of Science and Technology（河内科学技术大学）； Deakin University（德金大学）； Max Planck Research School for Intelligent Systems（马克斯·普朗克智能系统研究学校）； VinUniversity（文大学）； Monash University（墨尔本大学）

专题命中偏好对齐：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AI总结本文提出BSO方法，通过密度比匹配实现安全对齐，简化了安全对齐流程，无需辅助模型，且能提升安全与有用性之间的权衡。

2605.11217 2026-05-13 cs.LG cs.AI cs.CR 84%

Leveraging RAG for Training-Free Alignment of LLMs

利用RAG实现无需训练的LLM对齐

John T. Halloran

机构 * Leidos（莱迪奥斯公司）

专题命中偏好对齐：alignment(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结本文提出RAG-Pref算法，通过对比信息提升对抗攻击拒绝能力，相比其他方法在五种主流LLM上提升3.7倍，同时保持计算效率。

Comments 19 pages, 4 figures, and 6 tables

2605.11483 2026-05-13 cs.CL 79%

StoicLLM: Preference Optimization for Philosophical Alignment in Small Language Models

StoicLLM：在小型语言模型中通过偏好优化实现哲学对齐

Ishmam Khan, Sindhuja Thogarrati, Shuo Zhang

机构 * Tufts University（塔夫茨大学）； Bose Corporation（博世公司）

专题命中偏好对齐：alignment(title,abstract)；分类 cs.CL

AI总结研究通过偏好优化方法对小型语言模型进行微数据集训练，实现对斯多葛主义内在美德的强对齐，但发现模型在处理斯多葛主义外在义务时存在代表性限制。

2605.11662 2026-05-13 cs.IR 78%

HSUGA: LLM-Enhanced Recommendation with Hierarchical Semantic Understanding and Group-Aware Alignment

HSUGA：基于层次语义理解与群体感知对齐的LLM增强推荐

Guorui Li, Dugang Liu, Lei Li, Xing Tang, Zhong Ming

专题命中偏好对齐：alignment(title,abstract)

AI总结 HSUGA通过引入层次语义理解和群体感知对齐模块，解决LLM增强推荐中用户语义嵌入提取与利用的可靠性与适应性问题，提升推荐性能。

Comments Accepted by ACL 2026 Findings

2605.12406 2026-05-13 cs.AI 77%

Semantic Reward Collapse and the Preservation of Epistemic Integrity in Adaptive AI Systems

语义奖励崩溃与自适应AI系统中知识完整性保护

William Parris

机构 * BDB Labs / BagelTech（BDB实验室/BagelTech）

专题命中偏好对齐：RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.AI

AI总结研究探讨了自适应AI系统中语义奖励崩溃问题，指出其导致知识完整性受损，并提出宪法奖励分层框架以保护不同知识属性。

Comments 15 pages including references. Position and framework paper. Companion empirical work available at arXiv:2604.17587

1. 偏好对齐 7 篇