大模型对齐与安全

DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models

DiffuGuard: 差分扩散语言模型中内在安全的丧失与恢复

Zherui Li, Zheng Nie, Zhenhong Zhou, Yue Liu, Yitong Zhang, Yu Cheng, Qingsong Wen, Kun Wang, Yufei Guo, Jiaheng Zhang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； Squirrel Ai Learning（松鼠AI） ； Peking University（北京大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 本文分析了差分扩散语言模型在对抗攻击中的脆弱性，提出DiffuGuard框架通过随机退火重标记和块级审计修复提升模型安全性，有效降低攻击成功率。

Comments Accepted by ICLR2026

LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts

大语言模型知其弱点：通过自然分布偏移揭示安全漏洞

Qibing Ren, Hao Li, Dongrui Liu, Zhanxu Xie, Xiaoya Lu, Yu Qiao, Lei Sha, Junchi Yan, Lizhuang Ma, Jing Shao

机构 * MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（人工智能大模型关键实验室，上海交通大学） ； Beihang University（北京航空航天大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究大语言模型对自然分布偏移的脆弱性，提出ActorBreaker攻击方法，通过识别有毒提示相关角色构建多轮提示，揭示模型安全漏洞，并构建安全数据集提升鲁棒性。

Comments ACL 2025 main conference. Code is available at https://github.com/AI45Lab/ActorAttack

PIDP-Attack: Combining Prompt Injection with Database Poisoning Attacks on Retrieval-Augmented Generation Systems

PIDP-Attack：将提示注入与数据库污染攻击结合在检索增强生成系统中

Haozhen Wang, Haoyue Liu, Jionghao Zhu, Zhichao Wang, Yongxin Guo, Xiaoying Tang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Taobao and Tmall Group（淘宝和天猫集团） 纠错

专题命中 越狱攻击 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本文提出PIDP-Attack，结合提示注入与数据库污染攻击，针对检索增强生成系统中的对抗攻击问题，通过在推理时添加恶意字符并注入少量污染文档，有效操控LLM响应，实验显示其在开放域问答任务中攻击成功率提升4%-16%。

Prompt Attack Detection with LLM-as-a-Judge and Mixture-of-Models

基于LLM-as-a-Judge和混合模型的提示攻击检测

Hieu Xuan Le, Benjamin Goh, Quy Anh Tang

机构 * GovTech, Singapore（新加坡政府科技局） 纠错

专题命中 越狱攻击 ：safety(abstract)；red teaming(abstract)；prompt injection(abstract)；分类 cs.CL

AI总结 本文探讨轻量级通用LLM在真实生产环境中作为安全判断者的可靠性，通过结构化推理过程检测提示攻击，实验表明Gemini-2.0-Flash-Lite-001等模型可有效用于实时防护，同时评估混合模型对攻击检测的提升效果。

Comments 16 pages, 3 figures

NeuroStrike: Neuron-Level Attacks on Aligned LLMs

NeuroStrike：对对齐大语言模型的神经层面攻击

Lichao Wu, Sasha Behrouzi, Mohamadreza Rostami, Maximilian Thang, Stjepan Picek, Ahmad-Reza Sadeghi

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)

AI总结 NeuroStrike通过利用对齐技术引入的稀疏安全神经元漏洞，提出了一种通用攻击框架，实现了对多种大语言模型的高效攻击。