大模型对齐与安全

AI Agents May Always Fall for Prompt Injections

AI Agents May Always Fall for Prompt Injections

Sahar Abdelnabi, Eugene Bagdasarian

机构 * ELLIS Institute Tübingen & MPI-IS & Tübingen AI Center（图宾根ELLIS研究所及MPI-IS与图宾根人工智能中心） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 提示注入 ：prompt injection(title,title_cn)；alignment(abstract)；分类 cs.CL、cs.CY

AI总结 本文基于上下文完整性理论重新审视提示注入问题，揭示了现有防御机制的不足，并提出了一种新的评估框架来设计更安全的自主代理。

Remembering More, Risking More: Longitudinal Safety Risks in Memory-Equipped LLM Agents

记住更多，风险更多：具有记忆能力的LLM代理的纵向安全风险

Ahmad Al-Tawaha, Shangding Gu, Peizhi Niu, Ruoxi Jia, Ming Jin

机构 * Virginia Tech（弗吉尼亚理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 提示注入 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了具有记忆能力的LLM代理在长期任务中因记忆积累导致的安全风险，提出了一种触发-探测协议来评估记忆污染的影响，并发现记忆安全应被视为一个纵向属性而非单一状态属性。

An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments

通过提示注入在黑盒聊天机器人环境中研究隐私泄露链的实证研究

Hongjang Yang, Hyunsik Na, Daeseon Choi

机构 * Department of Information Security（信息安全系） ； Soongsil University（松山大学） ； AI Safety Center（人工智能安全中心） ； Department of AI Software（人工智能软件系） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文研究了通过间接提示注入在黑盒聊天机器人环境中存在的隐私泄露攻击链，分析了攻击者如何通过构造看似无害的外部内容来劫持代理任务，并评估了新的提示注入技术'exemplification'的攻击成功率，最终展示了使用虚构个人信息的证明概念数据外泄链。

Comments 9 pages, 2 figures

ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents

ASPI：寻求澄清会放大LLM代理中的提示注入漏洞

Udari Madhushani Sehwag, Zhengyang Shan, Heming Liu, Dileepa Lakshan, Joseph Brandifino, Max Fenkell

机构 * Scale AI ； Boston University（波士顿大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Human Frontier Collective（人类前沿集体） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 该研究探讨了LLM代理在执行任务时寻求澄清的行为对提示注入攻击的影响，发现这种行为会显著增加代理的脆弱性，并提出了ASPI基准测试来评估这一现象。

Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks

过度激进的编码代理：在良性任务中测量超出范围的动作

Yubin Qu, Ying Zhang, Yanjun Zhang, Gelei Deng, Yuekang Li, Leo Yu Zhang, Yi Liu

机构 * Griffith University（格里菲斯大学） ； Wake Forest University（威克森林大学） ； Nanyang Technological University（南洋理工大学） ； University of New South Wales（新南威尔士大学） ； Quantstamp 纠错

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出OverEager-Gen基准，用于评估编码代理在良性任务中超出范围的行为。研究发现，当基准中明确列出授权范围时，代理会停止推断边界并开始匹配声明文本，从而影响测量有效性。通过行为梯度验证器和双通道堆栈审计内部工具调用，验证了不同框架下的过度激进行为差异。

Hidden in Memory: Sleeper Memory Poisoning in LLM Agents

记忆中的隐患：LLM代理中的潜伏记忆污染

Sidharth Pulipaka, Stanislau Hlebik, Leonidas Raghav, Sahar Abdelnabi, Vyas Raina, Ivaxi Sheth, Mario Fritz

机构 * SPAR ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； MPI for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Tübingen AI Center（图宾根人工智能中心） ； APTA ； CISPA Helmholtz Center for Information Security（信息安全海德堡中心） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究探讨了LLM代理中由于持久化内存带来的安全风险，提出并研究了潜伏记忆污染攻击，该攻击通过操控外部上下文使代理存储伪造的记忆，影响后续交互，实验显示攻击可跨多次对话持续生效。

Comments 86 pages, 60 tables

Proof-Carrying Certificates for LLM Pipelines: A Trust-Boundary Architecture

为LLM流水线提供证明携带证书：一种信任边界架构

George Koomullil

机构 * Ascendr, Inc.（Ascendr公司） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL

AI总结 本文提出一种验证大型语言模型周围确定性结构计算的框架，扩展了Lean 4信任边界架构至现代LLM流水线的通用接口。核心贡献包括三个证书家族和两个操作符，用于高风险部署中的专利检索、金融监管等场景。

Comments 83 pages, 1 figure, 12 tables