大模型对齐与安全

Evaluation of Prompt Injection Defenses in Large Language Models

对大型语言模型中提示注入防御措施的评估

Priyal Deep, Shane Emmons, Amy Fox, Kyle Bacon, Kelley McAllister, Peter Ortiz, Krisztian Flautner

机构 * Swept AI ； University of Michigan（密歇根大学） 纠错

专题命中 提示注入 ：prompt injection(title)；分类 cs.AI

AI总结 研究通过构建自适应攻击者测试了九种防御配置，发现依赖模型自我保护的防御均失效，而输出过滤通过硬编码规则在应用代码中检查响应，实现了零泄露。

Comments 14 pages, 9 figures

Sleeper Channels and Provenance Gates: Persistent Prompt Injection in Always-on Autonomous AI Agents

睡眠通道与溯源门：始终在线自主AI代理中的持久提示注入

Narek Maloyan, Dmitry Namiot

专题命中 提示注入 ：prompt injection(title)

AI总结 研究提出睡眠通道概念，揭示始终在线AI代理中持久提示注入的机制，并通过层级防御方案和形式化证明提升安全性。