大模型对齐与安全

Are AI-assisted Development Tools Immune to Prompt Injection?

基于提示注入的AI辅助开发工具是否具有免疫力？

Charoes Huang, Xin Huang, Amin Milani Fard

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本文研究了基于MCP协议的AI辅助开发工具在提示注入攻击下的安全性，分析了七种常用工具的检测与缓解机制，揭示了其在安全特性上的显著差异。

Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks?

间接提示注入：防火墙足够吗，还是需要更强的基准？

Rishika Bhagwatkar, Kevin Kasa, Abhay Puri, Gabriel Huang, Irina Rish, Graham W. Taylor, Krishnamurthy Dj Dvijotham, Alexandre Lacoste

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本文提出一种简单高效的防御机制，通过防火墙在代理-工具接口实现高安全性和实用性，同时指出现有基准的不足，并提出改进方案。