大模型对齐与安全

How Jailbreak Attacks Inform Safety Alignment: A Defender-Centric, Shapley-Based Evaluation of Jailbreak Contributions

越狱攻击如何为安全对齐提供信息：以防御者为中心、基于Shapley值的越狱贡献评估

Yukai Zhou, Feiyang Lu, Xiaokai Mao, Jinfei Liu, Wenjie Wang

机构 * ShanghaiTech University（上海科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(title,abstract)；alignment(title)；分类 cs.CL

AI总结 研究以防御者为中心评估越狱攻击，提出A - MESS框架，通过AttackSHAP估计攻击效用，在不同场景下实验发现攻击成功率排名与防御者效用弱对齐，有限查询能准确估计，直接优化子集安全效用更强，建议将越狱攻击视为安全改进资源。

Efficient Safety Alignment of Language Models via Latent Personality Traits

通过潜在人格特质实现语言模型的高效安全对齐

Mohamed Amine Merzouk, Nolan Smyth, Damiano Fornasiere, Linh Le, David Williams-King, Adam Oberman

机构 * Mila, Quebec AI Institute（米拉，魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； LawZero ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型安全方法易受攻击问题，提出潜在人格对齐（LPA）方法，基于66条陈述训练，通过假设人格表征与避害共享结构，实现高攻击成功率、轻量级训练及良好泛化性。

Comments 15 pages, 6 figures. Accepted at COLM 2026

Dual-Adversarial Safety Alignment: Cultivating Intrinsic Threat Comprehension in LRMs

双对抗安全对齐：在大型推理模型（LRMs）中培养内在威胁理解

Hongli Shen, Shaopeng Fu, Qinbo Zhang, Jian Li, Di Wang

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） ； Stony Brook University（石溪大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有LRMs安全对齐方法依赖模式泛化不足的问题，提出双对抗框架AdvSafe，通过两阶段对抗博弈生成不安全知识数据集，使LRMs实现鲁棒安全对齐且权衡性能更优。

HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models

HiRoute：用于大语言模型安全对齐的分层路由提示调优

Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 HiRoute是一种输入自适应分层提示调优框架，通过分层路由器与多粒度提示专家，提升大语言模型安全对齐效果，在多个安全基准上兼顾安全性与响应有用性，减少过度拒绝。

Comments Preprint

Adversarial Prompting Framework for AI Safety Assessment

用于人工智能安全评估的对抗性提示框架

Yash Bhatnagar, Kunal Banerjee, Anirban Chatterjee

机构 * Microsoft（微软） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI

AI总结 针对人工智能尤其是生成式人工智能应用增加带来的安全问题，提出对抗性提示框架，通过生成多复杂程度的对抗性提示评估模型弹性，在企业环境中实现自动化测试并获定量指标及差异结果。

Comments 3 pages, 1 figure, presented as a poster at International Conference on Data Science (CODS), December 17-20, 2025, Pune, India

DARWIN: Evolving Jailbreak Adversary and Guardrail for LLM Safety Evaluation and Protection

达尔文：为大语言模型安全评估与保护演化越狱对手及防护措施

Weiwei Qi, Zefeng Wu, Zhilin Guo, Tianhang Zheng, Chaochao Lu, Liang He, Zhan Qin, Kui Ren

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(title,abstract)

AI总结 针对现有大语言模型安全评估与防御方法的静态局限，提出达尔文演化攻击-防御框架，含通过策略发现等扩展能力的达尔文攻击及从新对抗样本中迭代学习的达尔文防护，在攻击成功率和防御召回率上表现出色。

Diffusion LLMs as Targets and Adversaries: Mechanistic Safety Exploits

扩散大语言模型作为目标与对抗者：机制性安全漏洞利用

Elena Dumitrescu, Gert Lek, Lydia Y. Chen, Jérémie Decouchant

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 本研究揭示扩散大语言模型（DLLMs）的安全机制漏洞，提出SN-Guided Diffusion黑盒越狱框架，实现高迁移攻击成功率且生成成本远低于现有方法。

JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models

JailMeter：一种基于证据的大语言模型越狱攻击评估框架

Qingjia Huang, Jingyu Zhang, Jianguo Wu, Yakai Li, Weijuan Zhang, Yankai Rong, Junyi Yao, Shengzhi Zhang, Xiaoqi Jia

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型越狱攻击评估标准和方法不一致的问题，提出基于证据评估框架JailMeter，受信息瓶颈理论启发用双反馈优化过滤噪声，在JailMeter-Eva上评估准确率达97.27%，还提炼出JailMeter\textsubscript{SLM}降低计算成本。

Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code

语法约束解码可诱使大语言模型生成恶意代码

Yitong Zhang, Shiteng Lu, Jia Li

机构 * College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文发现语法约束解码（GCD）可被利用发起名为CodeSpear的越狱攻击，使LLM生成恶意代码；并提出安全对齐方法CodeShield，通过生成蜜罐代码防御该攻击。

Who Bridges Safety? Identifying and Targeting Cross-Lingual Shared Safety Pathways

谁搭建安全桥梁？识别并靶向跨语言共享安全路径

Shuyi Miao, Wangjie Qiu, Pengyang Shao, Canran Xiao, Fei Shen, Zhiming Zheng, Tat-Seng Chua

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本研究识别出跨语言共享安全路径，提出基于该路径的靶向对齐方法，仅更新少量参数即可提升非高资源语言安全性并保留模型通用能力。

Isolation as a First-Class Principle for LLM-Agent System Safety: Concepts, Taxonomy, Challenges and Future Directions

隔离作为大语言模型智能体系统安全的头等原则：概念、分类法、挑战及未来方向

Huihao Jing, Wenbin Hu, Shaojin Chen, Haochen Shi, Sirui Zhang, Hanyu Yang, Changxuan Fan, Zhongwei Xie, Hongyu Luo, Wun Yu Chan, Wei Fan, Haoran Li, Yangqiu Song

机构 * HKUST（香港科技大学） ； NYU（纽约大学） ； SWUPL（西南政法大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 探讨大语言模型智能体系统安全问题，将隔离作为头等原则，用边界中心分类法组织文献，助于识别隔离丧失位置、妥协传播方式及相关防御，还总结了故障路径，讨论挑战并勾勒研究议程。

Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models

越狱攻击下的鲁棒有害特征：来自大型语言模型中注意力头特化的机制证据

Yanchen Yin, Dongqi Han, Linghui Li

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 通过分析注意力头特化，发现越狱攻击通过抑制早期层的对抗妥协头（ACHs）绕过安全对齐，而中间层的安全对齐头（SAHs）保持鲁棒激活，揭示了鲁棒有害特征现象，并利用这些持久激活实现无需训练的检测。

Comments 33 pages, 19 figures. Accepted at ICML 2026 as an Oral presentation

DoubtProbe: Black-Box Jailbreak Defense via Structural Verification and Semantic Auditing

DoubtProbe：通过结构验证与语义审计的黑盒越狱防御

Xuanyu Yin, Yilin Jiang, Jun Zhou, Kai Chen, Zhengfu Cao, Xiaolei Dong

机构 * East China Normal University（东华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 提出DoubtProbe双分支推理时防御框架，结合结构验证与语义审计，将黑盒越狱防御转化为受控变换下的一致性检查，在多个基准上实现更强更稳定的防御-效用权衡。

Comments 25 pages, 5 figures

MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models

MLingualFC: 评估多语言视觉语言模型中的越狱漏洞

Rishabh Makwana, Mamta, Deeksha Varshney, Oana Cocarascu

机构 * Dwarkadas Jivanlal Sanghvi College of Engineering（达沃拉斯·吉万拉尔·桑格维工程学院） ； King’s College London（伦敦国王学院） ； Indian Institute of Technology Jodhpur（印度理工学院朱罗普尔） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 提出多语言多模态基准MLingualFC，使用流程图编码有害指令评估多语言VLM的越狱漏洞，发现拉丁语系攻击成功率显著高于非拉丁语系，揭示安全机制跨语言泛化不足。

Evolving Safety Landscape of Multi-modal Large Language Models: A Survey of Emerging Threats and Safeguards

多模态大语言模型的演进安全态势：新兴威胁与防护措施综述

Xi Li, Shu Zhao, Xiaohan Zou, Fei Zhao, Fuxiao Liu, Yusen Zhang, Cheng Han, Yushun Dong, Jiaqi Wang

机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； NVIDIA（英伟达公司） ； Penn State University（宾夕法尼亚州立大学） ； Columbia University（哥伦比亚大学） ； University of Missouri-Kansas City（密苏里大学堪萨斯分校） ； Florida State University（佛罗里达州立大学） ； Auburn University（奥本大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.CY、cs.LG；trustworthy(comments)

AI总结 本综述针对多模态大语言模型（MLLMs）的新型安全威胁，提出多模态安全威胁分类法，梳理安全策略进展，探讨未来安全机制的研究方向。

Comments Accepted at the ICLR 2026 Workshop on Principled Design for Trustworthy AI

Synthetic Persona Pretraining: Alignment from Token Zero

合成角色预训练：从零开始的对齐

Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Roland Aydin, Robert West

机构 * EPFL（洛桑联邦理工学院） ； University of Toronto（多伦多大学） ； Northeastern University（东北大学） ； SJTU（上海交通大学） ； Saarland University（萨尔大学） ； Hereon（亥姆霍兹极地与海洋研究中心） ； TUHH（汉堡工业大学） ； Ontocord AI（Ontocord人工智能公司） ； TUC（德累斯顿工业大学） ； DFKI（德国人工智能研究中心） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出合成角色预训练（SPP），在预训练token零阶段植入助手角色，通过标注反思、预训练及角色绑定，提升模型价值构成遵循度与鲁棒性，降低对齐错误率，证明预训练时角色干预是对齐的有效方法。

Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak

上半场打破拒绝：预填充越狱的机制研究

Alex Kwon

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究语言模型中预填充消除拒绝的现象，通过实验定位到早期窗口，揭示拒绝是浅层响应端计算，预填充控制是通用自回归条件作用，还明确了主导机制及相关特征，指出监测器免疫特点和机制的分散性与失效表面的局部性。

Comments 31 pages, 3 figures. Code and derived artifacts: https://github.com/collapseindex/breaking-refusal

Retroactive Chain-of-Thought (RetroCoT): Forensic Reconstruction Prompts as a Safety Diagnostic Across Model Generations

追溯性思维链（RetroCoT）：作为跨模型代际安全诊断的法证重建提示

Samira Hajizadeh

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现大语言模型安全对齐受语用寄存器影响，介绍追溯性思维链攻击RetroCoT将有害请求重构为法证重建任务，在AdvBench测试中取得一定成功率，还发现模型代际差异及新语用寄存器对模型安全对齐的影响。

Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics

通过流形轨迹动力学防御大语言模型的越狱攻击

Hangtao Zhang, Yucheng Zhao, Sishun Liu, Ziqi Zhou, Zeyu Ye, Wei Wan, Minghui Li, Shengshan Hu, Yanjun Zhang, Yi Liu, Leo Yu Zhang

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)

AI总结 提出流形轨迹动力学（MTK）方法，通过分析提示词在模型层间的邻域结构演化来检测越狱攻击，在伪恶意提示和自适应攻击下均表现鲁棒。

Comments Accepted to USENIX Security '26 Cycle 2. Code is available at https://github.com/Rookie143/mtk

How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring

你的越狱评判有多可靠？自动ASR评分的校准与对抗鲁棒性

Yang Gao

机构 * Veyon Solutions 纠错

专题命中 越狱攻击 ：jailbreak(title)；safety(abstract)；prompt injection(abstract)；分类 cs.CL、cs.LG

AI总结 研究评估了LLM越狱攻击成功率（ASR）的自动评判器（安全分类器与LLM评判）的可靠性，发现两者存在相反缺陷，且易受攻击，建议报告评判器的精确率和召回率并校正ASR。

Comments 10 pages, 3 figures, 2 tables, Code: github.com/gy15901580825/judgeflip

ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions

ProbGuard：基于大语言模型输出分布的校准安全风险估计

Xinzhe Huang, Biwu Yao, Kedong Xiu, Mengnan Zhao, Di Wang, Puning Zhao, Tianhang Zheng

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究针对现有LLM安全防护的确定性范式局限，提出概率架构无关防护框架ProbGuard，利用早期输出分布信号校准安全风险，实现提前终止不安全输出，在9种组合设置及6种越狱攻击中均表现优异。

Geometric Configurations of Perturbed Jailbreak Prompts

受扰动越狱提示的几何配置

Lynn Delcon, Andres Algaba, Vincent Ginis

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究Qwen和Llama系列小权重模型中受扰动越狱输入的内部表示，选两个表示空间，在拒绝主导答案集中两空间均无行为超平面，仅特定模型的个别token与合规答案有关联。

Comments 21 pages, 9 figures, 7 tables, 2nd Workshop on Safe AI (SafeAI)

Refused in Chat, Written in Code: Workflow-Level Jailbreak Construction in IDE Coding Agents

在聊天中被拒绝，用代码编写：IDE 编码代理中的工作流级越狱构造

Abhishek Kumar, Carsten Maple

机构 * The Alan Turing Institute（阿尔法·图灵研究院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究 IDE 编码代理安全评估问题，介绍工作流级越狱构造，通过对特定模型在不同基准测试下表现研究发现，对话拒绝基准可能高估其安全性，需跨多轮 IDE 工作流评估安全。

PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation

PixJail：面向文本到图像越狱评估的自演化论文到流水线复现

Leyi Sheng, Han Sun, Zhen Sun, Yuntao Yue, Jinlin Wu, Xinlei He, Jiaheng Wei

机构 * The Hong Kong University of Technology and Science (Guangzhou)（香港科技与应用科技大学（广州）） ； East China Normal University（华东师范大学） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Wuhan University（武汉大学） ； Institute of Deep Perception Technology, JITRI（视觉感知技术研究院，JITRI） ； CAIR, Hong Kong Institute of Science and Innovation (HKISI)（创新科技研究院，香港科学与创新研究院（HKISI）） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出PixJail框架，通过自演化论文到流水线代理，自动构建攻击模块和可运行评估流水线，忠实复现原始实验结果，平均误差仅2.1%。

JailbreakOPT: Tool-Assisted Iterative Jailbreak Prompt Optimization

JailbreakOPT: 工具辅助的迭代越狱提示优化

Ge Shi, Jun Yin, Donglin Xie, Fangyi Liu, Yucan Li, Menglin Liu

机构 * University of California, Davis（加州大学戴维斯分校） ； The Renmin University of China（中国人民大学） ； Independent Researcher（独立研究员） ； Nankai University（南开大学） ； Cornell University（康奈尔大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出JailbreakOPT框架，通过工具库和上下文Thompson采样优化单轮越狱提示，在多个LLM上提高攻击成功率并减少攻击次数。

One Jailbreak, Many Tongues: Learning Language-Insensitive Intention Representations for Multilingual Jailbreak Detection

一次越狱，多种语言：学习语言无关的意图表示用于多语言越狱检测

Shuyu Jiang, Kaiyu Xu, Xingshu Chen, Hao Ren, Rui Tang, Yi Zhang, Tianwei Zhang, Hongwei Li

机构 * School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院） ； School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 针对多语言LLM安全漏洞，提出MLJailDe框架，通过多语言回译数据增强和相对距离约束，实现跨语言越狱检测，F1达98.5%。

A Multimodal Automatic Redteaming Evaluation based on Atomic Jailbreak Strategy Decoupling and Combination

基于原子越狱策略解耦与组合的多模态自动红队评估

Shiji Zhao, Yuxuan Zhou, Chen Xiong, Dongxian Wu, Yang Bai, Xun Chen

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)

AI总结 针对现有多模态越狱攻击的两大挑战，本文提出HACA方法，构建多模态原子越狱策略空间，对5种主流MLLMs平均攻击成功率达95.48%。

Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety

认知防火墙：一种主动、零信任、多门控的LLM安全框架

Michele Guida, Ruslan Shikhhamzayev, Sindhuja Penchala, Stefano Iannucci, Jiacheng Li, Shahram Rahimi, Noorbakhsh Amiri Golilarz

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)

AI总结 提出认知防火墙框架，通过意图、零信任上下文、一致性和输出风险四个门控进行对话级安全评估，有效降低单轮、多轮、基于权威和人工制作的越狱攻击成功率。

Breaking Database Lock-in: Agentic Regeneration of High Performance Storage Readers for Database Bypass

打破数据库锁定：用于数据库绕过的高性能存储读取器的智能再生

Victor Giannakouris, Immanuel Trummer

机构 * Cornell University（康奈尔大学） 纠错

专题命中 越狱攻击 ：jailbreak(summary_cn,abstract)；分类 cs.AI

AI总结 研究分析工作负载面临的数据访问瓶颈问题，提出Jailbreak方法，利用大语言模型辅助代码合成绕过数据库引擎直接读取存储文件，在PostgreSQL和MySQL上评估，性能显著提升，证明该方法可打破数据库系统数据锁定。

Comments To be presented at AIDB 2026 (co-located with VLDB)

Safety Cost of Steering Vectors Is Separable and Reducible

引导向量的安全代价是可分离且可降低的

Yuxiao Li, Gjergji Kasneci

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.CL、cs.LG

AI总结 本研究针对引导向量破坏LLM安全机制的问题，通过识别并移除其安全退化分量，提出带约束的原始对偶优化方法，可在保留引导效果的同时大幅降低安全退化。

Comments COLM 2026