Agent Security is a Systems Problem
智能体安全是系统问题
机构 * Google(谷歌) ; University of California San Diego(加州大学圣地亚哥分校) ; University of Wisconsin–Madison(威斯康星大学麦迪逊分校) ; EmbraceTheRed ; Gray Swan AI ; Cornell University(康奈尔大学)
AI总结 本文提出智能体安全应作为系统问题来解决,强调通过系统层面的安全不变量来保障AI模型的安全性,而非仅仅依赖模型鲁棒性。文章基于系统安全领域的技术,提出了设计可预测安全保证的智能体系统的核心原则,并分析了实际攻击案例和实现这些原则面临的挑战。