大模型对齐与安全

Jailbreak Foundry: From Papers to Runnable Attacks for Reproducible Benchmarking

Jailbreak Foundry: 从论文到可运行攻击的可重复基准测试

Zhicheng Fang, Jingjie Zheng, Chenxu Fu, Wei Xu

机构 * Shanghai Qi Zhi Institute（上海启智研究院） ； Tsinghua University（清华大学） ； University of Melbourne（墨尔本大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 JAILBREAK FOUNDRY通过多代理工作流将论文转换为可执行模块，实现可重复基准测试的标准化评估和自动化。

SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks

SEMA: 简单却有效的多轮对抗攻击学习

Mingqian Feng, Xiaodong Liu, Weiwei Yang, Jialin Song, Xuekai Zhu, Chenliang Xu, Jianfeng Gao

专题命中 越狱攻击 ：jailbreak(title,abstract)；DPO(abstract,abstract_cn)；alignment(abstract)；safety(abstract)

AI总结 SEMA通过多阶段学习实现高效多轮对抗攻击，无需依赖现有策略，提升攻击成功率并增强安全测试能力。

Comments ICLR 2026, 37 pages, 13 tables, 7 figures

Exposing Long-Tail Safety Failures in Large Language Models through Efficient Diverse Response Sampling

通过高效多样响应采样暴露大语言模型中的长尾安全故障

Suvadeep Hajra, Palash Nandi, Tanmoy Chakraborty

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract,abstract_cn)；RLHF(abstract)；分类 cs.CL

AI总结 本文通过多样响应生成方法系统暴露大语言模型的安全故障，提出PDPS算法在降低计算成本的同时提高攻击成功率，并生成更多多样化的不安全输出。

Comments Accepted by Transactions on Machine Learning Research (TMLR)

ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety

ROK-FORTRESS：衡量地缘政治转译对国家安全和公共安全的影响

Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Christina Q. Knight, Joseph Brandifino, Max Fenkell

机构 * Scale AI 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出ROK-FORTRESS基准，通过英韩语言对和美韩地缘政治轴，评估语言与地缘政治交互对国家安全的影响，发现韩语版本存在压制效应，且模型间表现差异显著。

Comments 16 pages main text + appendix (74 pages total), 4 figures and 2 tables in main text; dataset at https://huggingface.co/datasets/ScaleAI/ROK-FORTRESS_public

When Grammar Guides the Attack: Uncovering Control-Plane Vulnerabilities in LLMs with Structured Output

当语法引导攻击：利用结构化输出揭示LLM中的控制平面漏洞

Shuoming Zhang, Jiacheng Zhao, Hanyuan Dong, Ruiyuan Xu, Zhicheng Li, Yangyu Zhang, Shuaijiang Li, Yuan Wen, Chunwei Xia, Zheng Wang, Xiaobing Feng, Huimin Cui

机构 * SKLP, ICT, CAS & UCAS（SKLP、信息科技研究院、中国科学院及中国科学院大学） ； University of Aberdeen（阿伯丁大学） ； University of Leeds（利兹大学） ； SKLP, ICT, CAS（SKLP、信息科技研究院、中国科学院） 纠错

专题命中 越狱攻击 ：jailbreak(summary_cn,abstract)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文研究了通过结构化输出揭示LLM控制平面漏洞的问题，提出了一种名为Constrained Decoding Attack（CDA）的新类别的 jailbreak 方法，通过控制到语义的管道机制，利用schema-enforced logit masking注入恶意前缀，并由模型自身完成有害意图，展示了DictAttack在多个模型上的高攻击成功率，揭示了需要跨平面防御来弥合数据和控制平面之间的语义差距。

Comments To appear in CCS2026

Computational Safety for Generative AI: A Hypothesis Testing Perspective

生成式AI的计算安全性：假设检验视角

Pin-Yu Chen

机构 * IBM Research（IBM研究院） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文从假设检验角度形式化生成式AI的计算安全性，提出基于信号处理的方法检测恶意输入和AI生成内容。

Comments Extended version of the paper presented at the ICML 2026 Workshop on Hypothesis Testing

NeuroBreak: Unveil Internal Jailbreak Mechanisms in Large Language Models

NeuroBreak：揭示大语言模型的内部越狱机制

Chuhan Zhang, Ye Zhang, Bowen Shi, Yuyou Gan, Tianyu Du, Shouling Ji, Dazhan Deng, Yingcai Wu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 NeuroBreak是一个自上而下的大语言模型越狱分析系统，可分析神经元级安全机制、关键神经元，经评估验证了有效性，为开发下一代防御策略提供机制见解。

Comments 11 pages, 10 figures. Accepted to IEEE VIS 2026

State-Dependent Safety Failures in Multi-Turn Language Model Interaction

多轮语言模型交互中的状态依赖性安全故障

Pengcheng Li, Jie Zhang, Tianwei Zhang, Han Qiu, Zhang kejun, Weiming Zhang, Nenghai Yu, Wenbo Zhou

机构 * School of Cyber Science and Technology, University of Science and Technology of China, China（中国科学技术大学信息科学与技术学院） ； Nanyang Technological University, Singapore（南洋理工大学） ； Tsinghua University, Beijing, China（清华大学） ； Beijing Electronic Science and Technology Institute, Beijing, China（北京电子科技研究所） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract_cn)；分类 cs.AI

AI总结 本文从状态空间视角研究多轮交互中的安全故障，提出STAR框架分析对话历史作为状态转移操作，揭示对齐模型在多轮交互中安全边界穿越的机制。

Comments 9 pages, accepted at the International Conference on Machine Learning (ICML) 2026

HarDBench: A Benchmark for Draft-Based Co-Authoring Jailbreak Attacks for Safe Human-LLM Collaborative Writing

HarDBench: 面向安全人机协作写作的基于草稿的合著越狱攻击基准

Euntae Kim, Soomin Han, Buru Chang

机构 * Korea University（韩国大学） ； Sogang University（ソガン大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 提出HarDBench基准，评估大语言模型在协作写作中面对恶意草稿填充的越狱攻击的鲁棒性，并通过偏好优化实现安全-效用平衡的对齐方法。

Comments ACL 2026 Main

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 40785-40831 July 2-7, 2026

When the Prompt Becomes Visual: Vision-Centric Jailbreak Attacks for Large Image Editing Models

当提示变为视觉：面向大型图像编辑模型的以视觉为中心的越狱攻击

Jiacheng Hou, Yining Sun, Ruochong Jin, Haochen Han, Fangming Liu, Wai Kin Victor Chan, Alex Jinpeng Wang

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 提出首个视觉到视觉的越狱攻击VJA，通过纯视觉输入传递恶意指令，并构建安全基准IESBench，在商业模型上攻击成功率高达80.9%，同时提出无需训练的内省多模态推理防御方法。

Comments Accepted for spotlight and oral presentation at ICML 2026 (Project: https://csu-jpg.github.io/vja.github.io/)

NeST: Neuron Selective Tuning for LLM Safety

NeST: 面向LLM安全的神经元选择性调优

Sasha Behrouzi, Lichao Wu, Mohamadreza Rostami, Ahmad-Reza Sadeghi

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 提出NeST框架，通过激活探测识别安全相关前馈神经元并训练共享簇级更新，仅用普通恶意提示即可泛化防御多种越狱攻击，在14个模型上以极少参数实现接近全微调的鲁棒性。

Efficient and Stealthy Jailbreak Attacks via Adversarial Prompt Distillation from LLMs to SLMs

通过从大语言模型到小语言模型的对抗性提示蒸馏实现高效且隐蔽的越狱攻击

Xiang Li, Chong Zhang, Jia Wang, Fangyu Wu, Yushi Li, Xiaobo Jin

机构 * Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CL

AI总结 提出对抗性提示蒸馏（APD）框架，将LLM的越狱能力迁移到SLM，实现高效低资源攻击，在GPT-4上达到96.4%攻击成功率，速度提升3.7倍，参数减少11.3倍。

Comments 24 pages, 3 figures

Do You Really Need a GPU to Guard Your LLM? CPU-Class Classifiers and Multi-Stage Pipelines for Safety Enforcement at Scale

你真的需要GPU来保护你的LLM吗？用于大规模安全执行的CPU级分类器与多阶段流水线

Vasudev Majhi, Dhruv Gupta, Advait Singh, Matthew Barker, Dhruv Kumar

机构 * BITS Pilani（比斯帕利尼大学） ； Trustwise（Trustwise公司） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究CPU级分类器（如SVM、梯度提升树）在LLM输入安全检测中的性能，发现其与GPU模型互补，并设计三阶段流水线GuardChain，在80%的分布内查询中达到近峰值精度，降低部署成本。

Comments Under Review. 25 pages, 5 figures, 38 tables

ECHO: A Locally-Deployable Agentic Health Assistant with Temporal Memory, Safety Guardrails, and Speech Assessment

ECHO：具备时序记忆、安全护栏与语音评估功能的本地可部署智能体式健康助手

Abdulkadir Külçe, Alihan Esen, Çağla Fikir, Berke Kurt, Kuzey Arar, Gökhan Ercan, Faik Boray Tek

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出具备时序记忆、安全护栏与语音评估功能的本地可部署智能体式健康助手ECHO，其核心聊天机器人、安全层、语音评估模块均达特定性能指标，且可在消费级硬件运行，符合数据保护法规。

Comments 5 pages

Latent Fusion Jailbreak: Blending Harmful and Harmless Representations to Elicit Unsafe LLM Outputs

潜在融合越狱：融合有害与无害表征以引出不安全的大语言模型输出

Wenpeng Xing, Bohan Yang, Mohan Li, Chunqiang Hu, Haitao Xu, Ningyu Zhang, Bo Lin, Meng Han

机构 * Bingjiang Institute of Zhejiang University（浙江大学滨江学院） ； Zhejiang University（浙江大学） ； Guangzhou University（广州大学） ； Chongqing University（重庆大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何通过白盒干预操纵安全对齐的大语言模型，核心方法是潜在融合越狱（LFJ），通过配对有害与良性表征、优化混合系数等实现，在多个模型和基准上取得高攻击成功率，还设计了对抗训练程序降低攻击成功率。

Context Misleads LLMs: The Role of Context Filtering in Maintaining Safe Alignment of LLMs

上下文误导大语言模型：上下文过滤在维持大语言模型安全对齐中的作用

Jinhwa Kim, Ian G. Harris

机构 * Department of Computer Science University of California, Irvine（计算机科学系，加州大学伊维特分校） 纠错

专题命中 越狱攻击 ：alignment(title)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型受恶意上下文欺骗问题，提出上下文过滤防御机制，通过过滤不可信上下文识别真实意图，提升安全性同时保持性能，经对比分析验证其有效性。

Comments 17 pages, 3 figures

Self-Mined Hardness for Safety Fine-Tuning

自我挖掘的难度用于安全微调

Prakhar Gupta, Garv Shah, Donghua Zhang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过模型自身生成结果评估提示难度，对最难的提示进行安全微调，在Llama-3模型上将攻击成功率降至1-3%，但增加了拒绝率，通过混合良性提示可平衡性能。

One Word at a Time: Incremental Completion Decomposition Breaks LLM Safety

逐词进行：增量完成分解打破LLM安全

Samee Arif, Naihao Deng, Zhijing Jin, Rada Mihalcea

机构 * University of Michigan（密歇根大学） ； University of Toronto（多伦多大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本文提出增量完成分解（ICD）策略，通过逐词生成恶意请求相关词来突破LLM安全机制，评估多种变体在多个基准测试中表现优异，并理论解释其有效性。

Retrieval-Augmented Defense: Adaptive and Controllable Jailbreak Prevention for Large Language Models

检索增强防御：针对大语言模型的自适应且可控制的越狱防范

Guangyu Yang, Jinghong Chen, Jingbiao Mei, Weizhe Lin, Bill Byrne

机构 * Department of Engineering University of Cambridge（工程系剑桥大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 针对大语言模型越狱攻击的挑战，提出检索增强防御（RAD）框架，在StrongREJECT数据集上验证其可降低强力越狱攻击有效性，同时平衡安全性与实用性。

Minimal, Local, Causal Explanations for Jailbreak Success in Large Language Models

最小、局部、因果解释用于大语言模型中的对抗成功

Shubham Kumar, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 本文研究了大语言模型对抗成功的因果机制，提出LOCA方法通过局部解释识别最小的中间表示变化，以解释对抗成功的原因。

Comments Published at COLM 2026 (updated bib)

GradShield: Alignment Preserving Finetuning

GradShield: 保持对齐的微调

Zhanhao Hu, Xiao Huang, Patrick Mendoza, Emad A. Alghamdi, Basel Alomair, Raluca Ada Popa, David Wagner

机构 * University of California, Berkeley（加州大学伯克利分校） ； HUMAIN ； King Abdulaziz City for Science and Technology（国王阿卜杜勒阿齐兹科学与技术城） ； University of Washington, Seattle（华盛顿大学（西雅图）） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 提出GradShield过滤方法，通过计算微调隐式危害分数并采用自适应阈值，在微调前移除有害数据，保持LLM安全对齐，攻击成功率低于6%。

SpatialJB: How Text Distribution Art Becomes the "Jailbreak Key" for LLM Guardrails

SpatialJB: 文本分布艺术如何成为LLM防护机制的'突破密钥'

Zhiyi Mou, Jingyuan Yang, Zeheng Qian, Wangze Ni, Tianfang Xiao, Ning Liu, Chen Zhang, Zhan Qin, Kui Ren

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)

AI总结 SpatialJB通过破坏LLM输出生成过程，利用空间结构扰动突破现有防护机制，实验显示其高效性，同时提出基础防御策略以应对此类攻击。

Journal ref ICML 2026

HarmRLVR: Weaponizing Verifiable Rewards for Harmful LLM Alignment

HarmRLVR: 利用可验证奖励进行有害大模型对齐

Yuexiao Liu, Lijun Li, Xingjun Wang, Jing Shao

专题命中 越狱攻击 ：alignment(title,abstract)；safety(abstract)

AI总结 提出HarmRLVR，首次系统研究可验证奖励强化学习（RLVR）的对齐可逆性风险，通过仅64个有害提示的GRPO即可快速逆转安全对齐，攻击成功率高达96.01%。

Attack Ensembles Expose a Safety-Utility Trade-off in Black-Box Guard Defenses Against Encoded VLM Jailbreaks

恢复、解码、再防护：针对编码型VLM越狱的防护无关型防御放大技术

Haoyu Zhang, Zhuoxi Wang, Shibo Zheng, Yi Feng, Xiao Luo, Zijian Xiao, Haowen Xu, Xiangchen Guan, Mohammad Zandsalimy, Shanu Sushmita

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出防护无关型的恢复-解码放大器，评估其对11种攻击集成的编码型VLM越狱防御效果，发现其存在安全-效用上限，贡献了放大器、集成评估方法及防御适用场景图谱。

FENCE: A Financial and Multimodal Jailbreak Detection Dataset

FENCE：一个金融和多模态越狱检测数据集

Mirae Kim, Seonghun Jeong, Youngjun Kwak

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对金融领域多模态越狱检测资源匮乏的问题，提出FENCE数据集，包含韩英双语文本和图像，用于训练和评估检测器，实验表明基线检测器准确率达99%。

Comments lrec 2026 accepted paper

A Survey of Large Audio Language Models: Generalization, Trustworthiness, and Outlook

大型音频语言模型综述：通用性、可信度与展望

Kaiwen Luo, Zhenhong Zhou, Leyan Wang, Liang Lin, Tianyu Shao, Yuanhe Zhang, Yang Xiao, Yuxuan Li, Miao Yu, Kailin Lyu, Jiaming Zhang, Li Sun, Songze Li, Yueming Wu, Ting Dang, Xiaojun Jia, Dongrui Liu, Kai Li, Rohan Kumar Das, Siyuan Liang, Xinfeng Li, Qiankun Li, Jing Chen, Xingjun Ma, Kun Wang, Junhao Dong, Deqing Zou, Yu Cheng, Xia Hu, Zhigang Zeng, Sen Su, Yang Liu, Yu-Gang Jiang, Philip S. Yu, Yew-Soon Ong

机构 * Nanyang Technological University（南洋理工大学） ； Independent Researcher（独立研究者） ； The University of Melbourne（墨尔本大学） ； North China Electric Power University（华北电力大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of Science and Technology of China（中国科学技术大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Shanghai AI Laboratory（上海人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学） ； Tsinghua University（清华大学） ； Fortemedia Singapore（富媒体新加坡） ； Tencent（腾讯） ； Fudan University（复旦大学） ； Wuhan University（武汉大学） ； Chinese University of Hong Kong（香港中文大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 越狱攻击 ：trustworthy(abstract,abstract_cn)；alignment(abstract)；safety(abstract)

AI总结 本文综述了大型音频语言模型的通用性、可信度及未来发展方向，探讨了其架构创新、对齐算法及安全风险，并提出了防御深入、因果音频世界建模等策略以提升音频智能的可信度。

ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning

ARMOR：通过精细推理对齐安全的大语言模型

Zhengyue Zhao, Yingzi Ma, Somesh Jha, Marco Pavone, Patrick McDaniel, Chaowei Xiao

专题命中 越狱攻击 ：alignment(abstract)；RLHF(abstract)；safety(abstract)；jailbreak(abstract)

AI总结 研究大语言模型安全问题，针对现有方法不足，提出ARMOR，通过三步推理管道提取核心恶意意图并验证，开发ARMOR-Think提升性能，在防御越狱攻击上效果显著。

Comments ICLR 2026

GRM: Utility-Aware Jailbreak Attacks on Audio LLMs via Gradient-Ratio Masking

GRM：通过梯度比掩码实现音频大语言模型的效用感知越权攻击

Yunqiang Wang, Hengyuan Na, Di Wu, Miao Hu, Guocong Quan

机构 * Sun Yat-Sen University（中山大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.AI

AI总结 本文提出GRM框架，通过频率选择性扰动在音频大语言模型中实现效用感知的越权攻击，实验表明其在攻击成功率与效用平衡方面优于基线方法。

Comments Accpeted by MM 2026

One Leak Away: How Pretrained Model Exposure Amplifies Jailbreak Risks in Finetuned LLMs

一个泄漏：预训练模型暴露如何放大微调LLM中的劫持风险

Yixin Tan, Zhe Yu, Rui Wen, Jun Sakuma

机构 * Institute of Science Tokyo（东京科学研究所） ； Riken AIP（理化学研究所AIP） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.AI

AI总结 本研究揭示了预训练模型暴露如何放大微调LLM的劫持风险，提出PGP攻击方法，证明了预训练到微调过程中存在的安全漏洞。

Comments This paper has been accepted to the ACM SIGSAC Conference on Computer and Communications Security (ACM CCS)

Can Small Language Models Reliably Resist Jailbreak Attacks? A Comprehensive Evaluation

小型语言模型能否可靠抵御越狱攻击？一项综合评估

Zhibo Wang, Wenhui Zhang, Huiyu Xu, Zeqing He, Ziqi Zhu, Kui Ren

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.AI

AI总结 本文通过评估59个SLMs对12种越狱方法的抵御能力，发现多数SLMs存在高ASR，漏洞与训练细节相关，且现有防御效果有限，凸显SLM需采用设计即安全的方法。

Comments Accepted by ACM CCS 2026