大模型对齐与安全

Detection of adversarial intent in Human-AI teams using LLMs

利用大语言模型检测人类-人工智能团队中的对抗意图

Abed K. Musaffar, Ambuj Singh, Francesco Bullo

机构 * Department of Mechanical Engineering, University of California at Santa Barbara（加州大学圣巴巴拉分校机械工程系） ； Department of Computer Science, University of California at Santa Barbara（加州大学圣巴巴拉分校计算机科学系） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大语言模型在人类-人工智能团队中作为防御监督者的潜力，通过分析交互痕迹检测恶意行为，发现LLM能实时识别恶意行为，且无需任务特定信息，表明了任务无关防御的可能性。