大模型对齐与安全

Optimizing Against Safety Representations: Activation-Guided Adversarial Suffixes and the Geometry of Refusal

针对安全表示的优化：激活引导的对抗后缀与拒绝几何

Ege Çakar, Hannah Guan, Kayden Kehe

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究大语言模型安全表示，引入激活引导的对抗后缀攻击方法，如Activation-Guided GCG和Soft-GCG，发现安全表示分布特点，不同规模模型的抗性不同，结果阐明安全机制编码及破解方式，为设计对齐策略提供指导。

Comments Accepted at the AAAI 2026 Summer Symposium Series. This paper was presented at the ICLR Re-Align workshop under a different name, "Accelerating Adversarial Suffix Optimization via Continuous Relaxation and Activation-Guided Objectives"

Geopolitical alignment: Endorsement effects in large language models

地缘政治倾向：大语言模型中的背书效应

Maxim Chupilkin

机构 * Department of Politics and International Relations, University of Oxford（政治与国际关系系，牛津大学） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.AI、cs.CY

AI总结 研究大语言模型政策评估是否受地缘政治线索影响，通过背书实验让四个模型评估相同政策，发现模型评分受背书者身份影响，西方背书被视为可信度线索，中国和俄罗斯背书被视为其他风险线索。

Present but Rescaled: Chat-to-Agent Transfer of Additive Activation Steering

存在但重新缩放：加法激活引导的聊天到智能体的转移

Lucas Pinto

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究加法激活引导从聊天到智能体的转移，通过匹配信息设计进行研究，发现转移真实但重新缩放，确定了加法特定机制，定位了重新缩放位置，指出智能体部署对引导拒绝绕过影响不可预测。

Comments 12 pages, 3 figures, 4 tables

Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning

基于合约的组合屏蔽实现安全多智能体强化学习

Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli

机构 * Imperial College London（伦敦帝国学院） ； University of Manchester（曼彻斯特大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出一种去中心化屏蔽方法，通过合约机制协调智能体局部LTL安全义务，在无集中运行时控制下保证全局安全并优化团队奖励。

Comments Accepted to EUMAS 2026, the 23rd European Conference on Multi-Agent Systems