大模型对齐与安全

An AI Agent Execution Environment to Safeguard User Data

一个保障用户数据安全的AI代理执行环境

Robert Stanley, Avi Verma, Lillian Tsai, Konstantinos Kallas, Sam Kumar

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Google（谷歌） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 GAAP通过动态用户提示收集权限规范，确保AI代理在共享用户隐私数据时符合规定，无需信任代理或模型，有效阻止数据泄露攻击。

Whispers in the Machine: Confidentiality in Agentic Systems

机器中的低语：代理系统中的保密性

Jonathan Evertz, Merlin Chlosta, Lea Schönherr, Thorsten Eisenhofer

机构 * CISPA Helmholtz Center for Information Security（信息安全勒内希特中心） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.LG

AI总结 研究探讨了基于大语言模型的代理系统中的保密性问题，通过抽象敏感数据为秘密字符串，评估了十种代理在20种工具场景和14种攻击策略下的安全性，发现所有代理均存在至少一种漏洞，现有防御措施无法有效防止数据泄露。

Comments Accepted at Conference on Detection of Intrusions and Malware & Vulnerability Assessment (DIMVA) 2026