大模型对齐与安全

A Framework for Formalizing LLM Agent Security

一个形式化大语言模型代理安全性的框架

Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Neil Gong, Chenguang Wang, Dawn Song

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； UC Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） 纠错

专题命中 提示注入 ：alignment(abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本文提出一个框架，从情境安全角度系统化现有攻击与防御，定义四个安全属性并引入Oracle函数验证，重新定义攻击和防御，为未来研究提供方向。