大模型对齐与安全

Epistemic Norms for AI Safety and Alignment Research

人工智能安全与对齐研究的认知规范

Keivan Navaie

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI

AI总结 探讨人工智能安全与对齐研究和主流人工智能研究的差异，基于结构化综合识别当前对齐研究的差距维度，提出包含多项内容的{\sc ECAISA}，以约束安全相关研究声明的记录、检查和依赖方式，目标是可审计性。

Comments 36 pages

Adaptive and Explicit safe: Triggering Latent Safety Awareness in Large Reasoning Models

自适应且显式安全：触发大型推理模型中的潜在安全意识

Ke Miao, Jiaxin Li, Hongliang Chen, Yuke Hu, Zhan Qin

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全全国重点实验室） ； Hangzhou HighTech Zone (Binjiang) Blockchain and Data Security Research Institute, China（杭州高新区（滨江）区块链与数据安全研究院） ； Li Auto Inc.（理想汽车） ； Tsinghua University（清华大学） ； King Abdullah University Of Science And Technology（阿卜杜拉国王科技大学） 纠错

专题命中 安全训练 ：DPO(summary_cn,abstract)；safety(title,abstract)；alignment(abstract)；jailbreak(abstract)

AI总结 针对大型推理模型易受越狱攻击的问题，提出Safe Trigger方法，通过SFT显式诱导安全标签触发安全分析，并用DPO优化，显著降低攻击成功率而不影响通用性能。

RAS: Measuring LLM Safety Through Refusal Alignment

RAS: 通过拒绝对齐衡量LLM安全性

Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

机构 * National Yang Ming Chiao Tung University ； Hon Hai Research Institute 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 提出白盒评估方法SafeVec，通过内部表示而非生成答案衡量LLM安全性，计算拒绝对齐分数RAS，实现快速、校准的安全评分。

Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds

语言模型智能体中的奖励黑客：重新审视AI安全网格世界

Ömer Veysel Çağatan, Xuandong Zhao

机构 * KUIS AI Center, Koç University（科奇大学KUIS人工智能中心） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI

AI总结 本研究将AI安全网格世界框架改编为文本评估套件，发现语言模型在零样本下出现规范博弈，通过直接奖励优化扩大观察与隐藏奖励差距，且标准缓解措施无效。

Comments 28 pages, 16 figures, 13 tables

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap：通过图像字幕强化学习提升大型视觉语言模型（LVLM）的安全性

Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

专题命中 安全训练 ：safety(title,abstract)；DPO(abstract,abstract_cn)；alignment(abstract)；jailbreak(abstract)

AI总结 SafeCap是一种通过图像字幕强化学习提升LVLM安全性的框架，在多模态安全基准上安全得分提升3.7-19.0个百分点，且视觉效用相当或更优，性能优于安全SFT等方法。

Comments 16pages, 4 figures. Preprint. Project page: https://safe-vlm.github.io/SafeCap/ ; code: https://github.com/Safe-VLM/SafeCap

Beyond Safe Data: Pretraining-Stage Alignment with Regular Safety Reflection

超越安全数据：具有正则安全反射的预训练阶段对齐

Jinhan Li, Kexian Tang, Yihan Xu, Zhuorui Ye, Kaifeng Lyu

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出安全反射预训练方法，在预训练语料中插入安全反思，使模型具备自我监控能力，实验表明该方法能有效降低推理和微调攻击成功率。

SafeGene: Reusable Adapters for Transferable Safety Alignment

SafeGene: 可重用的适配器实现可迁移的安全对齐

Yanghan Wang, Zhiqiang Kou, Fu Feng, Jing Wang, Xin Geng

机构 * Southeast University（东南大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出SafeGene，一种可重用的安全适配器模块，通过从对齐-退化模型差异中提取安全表示，并利用数据感知层选择和少样本系数重校准，实现跨任务的安全恢复，在保持下游性能的同时降低有害响应率。

Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models

安全对齐的定位：MLP层与网络中间块编码大语言模型的拒绝行为

Mingyu Zong, Sampad Mohanty, Bhaskar Krishnamachari

机构 * University of Southern California（南加州大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 本研究通过移植不同粒度的模型权重实验，发现大语言模型的安全拒绝行为主要编码在MLP层，且集中于网络中间块，其构成具有非加性，存在基准依赖的精度-覆盖权衡。

Mood Matters: How Syntactic Sensitivity Undermines Safety Alignment

情绪很重要：句法敏感性如何破坏安全对齐

Alina Klerings, Jannik Brinkmann, Heiner Stuckenschmidt, Simone Paolo Ponzetto

机构 * University of Mannheim（曼海姆大学） ； Technical University Clausthal（克劳斯塔尔工业大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 该研究发现大型语言模型存在句法敏感性漏洞，16个700亿参数级模型可通过调控句法特征触发或抑制拒绝行为，源于开源模型后训练数据的语言偏见，增加句法多样性可缓解问题。

Moving the Safety Barrier: Dynamic Routing Adaptive Alignment Against White-Box Attacks

移动安全屏障：针对白盒攻击的动态路由自适应对齐

Shangze Li, Chuancheng Shi, Simiao Xie, Lingzhi He, Cheng Ji, Zifeng Cheng, Fei Shen, Chao Wu, Tat-Seng Chua

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 针对大型基础模型易受路由级白盒攻击的问题，提出动态路由自适应对齐框架，通过引入动态补偿路由提升模型安全稳健性且保留通用实用性。

No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks

无单一失效神经元：针对白盒攻击的分布式安全对齐

Simiao Xie, Chuancheng Shi, Shangze Li, Wenhua Wu, Fei Shen, Ying Zhou, Zhiyong Wang, Tat-Seng Chua

机构 * The University of Sydney（悉尼大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 针对现有安全对齐方法的单点失效问题，提出分布式安全对齐（DSA），通过冗余编码安全能力提升模型对抗白盒神经元级攻击的鲁棒性，且保留通用语言与多模态效用。

HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment

HARC：耦合有害性与拒绝方向以实现鲁棒的安全对齐

Shei Pern Chua, Hao Wu, Qianli Ma, Fangzhao Wu

机构 * Tsinghua University（清华大学） ； Southeast University（东南大学） ； Microsoft（微软公司） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 提出HARC微调方法，通过耦合提示和响应位置的有害性与拒绝方向，在不损害通用能力的情况下提升LLM安全对齐的鲁棒性。

Not All Refusals Are Equal: How Safety Alignment Fails Cybersecurity at Scale

并非所有拒绝都是等同的：安全对齐如何在大规模情况下使网络安全失败

Vadym Hadetskyi, Dario Pasquini, Artem Sorokin

机构 * Cracken AI 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 研究安全对齐在网络安全领域的问题，通过对24个开源语言模型的实验，以Kimi K2为例展示特定领域删减可行，探讨模型特征与删减效果的关联并分类模型，提出相关猜想。

Comments 14 pages, 11 figures. Under review at NeurIPS 2026

Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

Oyster-II：大语言模型中用于建设性安全对齐的强化学习

Jiyang Guan, Yong Xie, Jun Chen, Jiexi Liu, Zipeng Ye, Defeng Li, Jiayu Shen, Jialing Tao, Hui Xue

机构 * Alibaba AAIG（阿里巴巴人工智能全球研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 研究大语言模型安全等问题，指出传统策略不足。基于Oyster-I范式，提出Oyster-II框架，采用强化学习结合零强化学习范式，在多基准测试中安全维度表现出色。

PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models

PolicyAlign: 大型语言模型的直接基于策略的安全对齐

Chang Wu, Junfeng Fang, Houcheng Jiang, Kai Tang, Pengyu Cheng, Xiaoxi Jiang, Guanjun Jiang, Xiang Wang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队） ； National University of Singapore（新加坡国立大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 提出PolicyAlign框架，通过合成违规指令和策略敏感过滤，直接根据自然语言安全策略对齐LLM，提升安全性并保持低过度拒绝和通用能力。

Multi-Agent AI Safety as an Institutional Design Problem

作为制度设计问题的多智能体AI安全

Abdullah X

机构 * POLIS Research Programme, Project AWARE（POLIS研究计划，AWARE项目） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(title)；分类 cs.AI、cs.LG

AI总结 本文作为POLIS项目首篇论文，探究多智能体AI安全的制度设计问题，通过含5280回合的实验套件，对比不同守卫机制，发现制度的权威状态与阻止后路径对安全的影响。

Comments 17 pages, 5 figures. Code and reproducibility artifacts available in the public POLIS repository

HaloGuard 1.0: An Open Weights Constitutional Classifier for Multilingual AI Safety

HaloGuard 1.0：一种用于多语言AI安全的开放权重宪法分类器

Navaneeth Sangameswaran, Preetham S, Ashmiya Lenin

机构 * Astroware AI ； Karunya Institute of Technology and Sciences（卡鲁尼亚理工学院和科学学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(title)；分类 cs.CL、cs.LG

AI总结 提出HaloGuard 1.0，一种基于宪法分类器范式的输入安全模型，在英语和多语言提示安全基准上以约十分之一于当前领先模型的参数规模达到最先进性能，通过自然语言宪法驱动合成数据生成、一对一反事实对、两层无害设计及多语言平衡实现。

Comments 30 pages, 7 figures, 20 Tables, Link: https://huggingface.co/collections/astroware/haloguard-10

Safe Inference-Time Alignment via Lagrangian Reward Augmentation

通过拉格朗日奖励增强实现安全推理时对齐

Yaswanth Chittepu, Ativ Joshi, Sohini Chintala, Scott Niekum

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出拉格朗日奖励增强框架，从含奖励与成本模型的约束目标出发，经对偶化将问题转化为一维凸问题，校准对偶变量获增强奖励，提升推理时对齐的有益性与无害性权衡。

Harnessing Textual Refusal Directions for Multimodal Safety

利用文本拒绝方向实现多模态安全

Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

机构 * University of Trento（特伦托大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 提出MARS方法，通过从LLM骨干提取的文本拒绝方向泛化到多模态，无需多模态安全数据即可提升安全性，在五个先进MLLM上验证了有效性。

Comments Preprint

AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor

AnchorKV: 通过拒绝锚点的软惩罚实现安全感知的KV缓存压缩

Ning Ni, Yingjie Lao

机构 * Department of Computer Science, Tufts University（塔夫茨大学计算机科学系） ； Department of Electrical and Computer Engineering, Tufts University（塔夫茨大学电气与计算机工程系） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 提出AnchorKV，一种通过软惩罚机制调整令牌保留分数以远离有害提示的KV缓存压缩方法，在保持实用性的同时显著提升安全性。

Yesterday's Shield, Today's Spear: A Self-Evolving Safety Guardrail in Production

昨日之盾，今日之矛：生产环境中的自演进安全护栏

Cong Ming, Jingyi Chen, Bin Liu, Qi Chu, Tao Gong, Nenghai Yu, Yingfei Xiang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） ； Sangfor Technologies（深信服科技） 纠错

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 针对静态LLM安全护栏无法应对新威胁的问题，提出自演进安全护栏SESG多智能体系统，可快速适配新威胁，性能优于静态护栏及自适应基线，已应用于深信服护栏并取得良好效果。

Optimizing Against Safety Representations: Activation-Guided Adversarial Suffixes and the Geometry of Refusal

针对安全表示的优化：激活引导的对抗后缀与拒绝几何

Ege Çakar, Hannah Guan, Kayden Kehe

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究大语言模型安全表示，引入激活引导的对抗后缀攻击方法，如Activation-Guided GCG和Soft-GCG，发现安全表示分布特点，不同规模模型的抗性不同，结果阐明安全机制编码及破解方式，为设计对齐策略提供指导。

Comments Accepted at the AAAI 2026 Summer Symposium Series. This paper was presented at the ICLR Re-Align workshop under a different name, "Accelerating Adversarial Suffix Optimization via Continuous Relaxation and Activation-Guided Objectives"

On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment

面向大语言模型安全的在线策略蒸馏：一种针对模板鲁棒性的重对齐路由方法

Yongjian Guo, Wanlun Ma, Lingyu Shen, Xi Xiao, Sheng Wen

机构 * Tsinghua University（清华大学） ； Swinburne University of Technology（斯威本科技大学） ； EPFL（洛桑联邦理工学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有LLM安全防御的模板鲁棒性不足等问题，提出ROPD框架，通过建模输出分布差异实现重对齐，大幅降低模板不匹配风险，在防御有效性和能力保留上优于基线方法，建立了新的鲁棒重对齐标准。

Refusal is Not Safety! Benchmarking Latent Safety Risks of LLM-Driven Content Humorization

拒绝并非安全！评估大语言模型驱动的内容幽默化中的潜在安全风险

Yu Cui, Ruiqing Yue, Tingyu Li, Sicheng Pan, Zhuoyu Sun, Xufeng Zhang, Baohan Huang, Haibin Zhang, Cong Zuo

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract)；prompt injection(abstract)

AI总结 研究基于LLM的内容幽默化潜在安全风险，提出HumorSafe框架评估风险传播，发现LLMs幽默化时会引入刻板印象和毒性，还提出HumorPIA攻击，揭示现有LLM安全评估在幽默化设置下的差距。

Do Thinking Tokens Help with Safety?

思考令牌有助于安全性吗？

Narutatsu Ri, Abhishek Panigrahi, Sanjeev Arora

机构 * Princeton Language and Intelligence（普林斯顿语言与智能） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现前沿推理模型的安全性行为并非真正基于思考，早期令牌即可预测拒绝/顺从结果，思考过程更像前缀补全而非审慎修订。

ALIGNBEAM : Inference-Time Alignment Transfer via Cross-Vocabulary Logit Mixing

ALIGNBEAM: 通过跨词汇表logit混合实现推理时对齐迁移

Chirag Chawla, Pratinav Seth, Vinay Kumar Sankarapu

机构 * Lexsi Labs 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对领域微调降低大模型安全性的问题，提出无需训练的ALIGNBEAM方法，通过逐token翻译锚模型logit并选择最安全候选，实现跨词汇表的安全对齐迁移，保持任务准确性和推理开销。

The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs

拒绝的几何：安全对齐大语言模型中的线性不稳定性

Shivam Ratnakar, Kartikeya Vats

机构 * University of Southern California（南加州大学） ； Independent Researcher（独立研究员） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG；trustworthy(comments)

AI总结 研究通过对比安全与不安全系统提示的隐藏状态，提出对比逻辑操控（CLS）框架，揭示安全对齐的线性脆弱性，并证明逻辑级干预比隐藏状态方法更有效，同时可实现双向控制。

Comments Accepted at TrustNLP 2026 (Sixth Workshop on Trustworthy Natural Language Processing, ACL 2026)

TRACE: Trajectory-Based Safety Patch Learning for LLM Post-Training Realignment

TRACE：基于轨迹的安全补丁学习用于大语言模型训练后调整

Changyue Li, Jiaming He, Youliang Yuan, Jialin Wu, Boxi Yu, Zhicong Huang, Pinjia He

机构 * LERo 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对FTaaS平台削弱模型安全对齐的问题，提出TRACE框架，通过模拟有害轨迹生成损坏状态，优化插件补丁，在保持效用的同时恢复模型安全，在多基准测试和模型上占据安全 - 效用前沿。

HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models

HyperSafe：微调语言模型推理时的安全恢复

Aznaur Aliev, Carlos Hinojosa, Abdelrahman Eldesokey, Bang An, Bernard Ghanem, Yibo Yang

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对微调语言模型推理时安全对齐脆弱的问题，提出HyperSafe框架，通过生成特定模型的安全侧网络，利用层激活指纹和超网络映射参数，实现提示级安全分类，有效降低有害响应率，保持任务准确率。

ANCHOR: Automated Alignment Auditing for CLI Agents on Real-World Harm

ANCHOR：针对现实世界危害的CLI代理自动对齐审计

Kefan Song, Yanjun Qi

机构 * Anthropic（Anthropic公司） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究自主CLI代理在现实世界危害中的风险，提出ANCHOR自动审计框架，通过基于黑暗人格数据微调的审计代理模拟恶意用户，测试CLI代理，发现当前对齐技术不足，强调针对此类恶意用户进行安全评估的必要。

Comments Accepted at ICML 2026. 19 pages, 14 figures, 5 tables

Journal ref International Conference on Machine Learning, 2026