大模型对齐与安全

Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents

了解你的智能体：基于侦察的人工智能智能体渗透测试

Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对人工智能智能体的渗透测试，提出通过形式化智能体侦察，在KYA框架中利用探测、构建配置文件等实现黑盒侦察驱动的渗透测试自动化，并进行评估与发布，以提升智能体安全性。

Twin Agent: Context Residual Compression for Privilege Separated Agents

孪生智能体：用于特权分离智能体的上下文残差压缩

Zhanhao Hu, Dennis Jacob, Xiao Huang, Zhaorun Chen, Bo Li, David Wagner

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Chicago（芝加哥大学） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL

AI总结 针对大语言模型智能体易受安全风险问题，提出孪生智能体模式，由探索和安全智能体组成，通过探索智能体传递紧凑提示，减少信息需求，在保持高任务效用的同时防止提示注入攻击，优于其他基线。

ChainWatch: A Kill Chain-Aligned Sequential Detection Framework for Multi-Step Attacks in MCP-Based AI Agent Systems

ChainWatch：基于杀伤链的顺序检测框架，用于基于MCP的人工智能代理系统中的多步攻击

Om Narayan, Rashmi Jyoti, Ramkinker Singh

机构 * Computer Science New York University New York, USA（计算机科学 新 York 大学 新 York 美国） ； Cybersecurity University of Maryland, College Park MD, USA（网络安全 美国马里兰大学College Park分校 MD 美国） ； Carnegie Mellon University Pittsburgh, USA（卡内基梅隆大学 彭博 美国） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 针对基于MCP的人工智能代理系统中现有防御无法可靠检测多步攻击的问题，提出ChainWatch框架，用六阶段杀伤链建模攻击进展，结合隐马尔可夫模型分类工具调用序列，能检测逃避传统机制的攻击链。