大模型对齐与安全

Leave My Images Alone: Preventing Multi-Modal Large Language Models from Analyzing Images via Visual Prompt Injection

别让我看图片：通过视觉提示注入防止多模态大语言模型分析图片

Zedian Shao, Hongbin Liu, Yuepeng Hu, Neil Zhenqiang Gong

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Duke University（杜克大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ImageProtector，通过在图像中嵌入精心设计的微小扰动，使多模态大语言模型在分析时产生拒绝响应，同时评估了三种潜在的防御措施，发现它们在降低ImageProtector效果的同时影响模型性能。

Comments Appeared in ACL 2026 main conference

Journal ref The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency

层级对齐：通过逻辑一致性在LLM中强制执行层级指令遵循

Shu Yang, Zihao Zhou, Di Wang, Wenda Li

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； University of Liverpool（利物浦大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 提示注入 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出NSHA方法，通过显式建模和执行指令优先级，解决LLM在多指令环境下保持一致性与安全性的挑战，提升任务性能和实用性。

Exploiting Web Search Tools of AI Agents for Data Exfiltration

利用AI代理的网络搜索工具进行数据外泄

Dennis Rall, Bernhard Bauer, Mohit Mittal, Thomas Fraunholz

机构 * Open Hippo GmbH（Open Hippo有限公司） ； University of Augsburg（奥格斯堡大学） ； Smart Labs AI GmbH（Smart Labs AI有限公司） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL

AI总结 研究分析了AI代理通过网络搜索工具进行数据外泄的攻击方式，探讨了模型大小、制造商及实现方式对漏洞的影响，并提出加强训练、建立攻击向量数据库和统一测试框架等安全措施。

Comments 9 pages, 6 figures, conference article