大模型对齐与安全

Security Considerations for Artificial Intelligence Agents

人工智能代理的安全性考虑

Ninghui Li, Kaiyuan Zhang, Kyle Polley, Jerry Ma

机构 * Perplexity 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了前沿AI代理的安全性问题，分析了代理架构对代码-数据分离、权限边界和执行可预测性的影响，并提出了针对间接提示注入、混淆代理行为和长流程级联故障的防护措施。

Comments This article is adapted from Perplexity's response to NIST/CAISI Request for Information 2025-0035. 91 Fed. Reg. 698 (Jan. 8, 2026). The originally submitted response can be found on the public docket at https://www.regulations.gov/comment/NIST-2025-0035-0505

Your Agent is More Brittle Than You Think: Uncovering Indirect Injection Vulnerabilities in Agentic LLMs

你的代理比你想象的更脆弱：揭示代理LLM中的间接注入漏洞

Wenhui Zhu, Xuanzhao Dong, Xiwen Chen, Rui Cai, Peijie Qiu, Zhipeng Wang, Oana Frunza, Shao Tang, Jindong Gu, Yalin Wang

机构 * Arizona State University（亚利桑那州立大学） ； Morgan Stanley（摩根士丹利） ； UC Davis（加州大学戴维斯分校） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Rice University（莱斯大学） ； Florida State University（佛罗里达州立大学） ； University of Oxford（牛津大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL

AI总结 研究揭示了代理LLM在动态环境中存在严重的间接注入漏洞，通过评估六种防御策略发现现有防护不足，提出基于表示工程的检测方法以提升安全性。

Mind Your HEARTBEAT! Claw Background Execution Inherently Enables Silent Memory Pollution

注意你的HEARTBEAT！Claw背景执行本质上使内存污染静默

Yechao Zhang, Shiqian Zhao, Jie Zhang, Gelei Deng, Jiawen Zhang, Xiaogeng Liu, Chaowei Xiao, Tianwei Zhang

机构 * Nanyang Technological University（南洋理工大学） ； Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR）） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究揭示Claw个人AI代理中因心跳驱动背景执行导致的内存污染漏洞，通过MissClaw实验发现社会可信度驱动行为影响，内存污染可进入长期记忆并影响用户行为。

Comments 26 pages, 6 figures, 7 tables; identifies a vulnerability in the heartbeat mechanism of Claw systems with version-scoped evaluation (pre-fix OpenClaw, February 2026)

In-Context Watermarks for Large Language Models

上下文水印用于大型语言模型

Yepeng Liu, Xuandong Zhao, Christopher Kruegel, Dawn Song, Yuheng Bu

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL

AI总结 本文提出In-Context Watermarking方法，通过提示工程在生成文本中嵌入水印，无需访问解码过程，适用于检测AI生成内容，验证了其作为通用且实用的水印方法的可行性。

Comments ICLR2026