大模型对齐与安全

When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents

当AUC 0.998还不够：多模态计算机使用智能体中隐藏状态探针对间接提示注入的候选评估协议

Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University（南卫理公会大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.LG

AI总结 本文通过单骨干案例研究，论证高AUC不能直接证明恶意内容检测，提出后验诊断和候选控制集来明确探针能力的边界。

Comments 17 pages, 3 figures. Camera-ready version for EvalMG '26, The 2nd Workshop on Evaluation for Multimodal Generation, co-located with SIGIR 2026

MIRAGE: Stealthy Visual Prompt Injection for Vulnerability Detection in Web Agents

MIRAGE: 针对Web代理的隐蔽视觉提示注入漏洞检测

Xuelong Dai, Jianyu Ma, Boyang Ma, Biwei Yan, Yijun Yang, Yue Zhang

机构 * SDU（山东大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 提出MIRAGE框架，利用扩散模型在受限区域生成视觉上无害的对抗图像，实现针对多模态大模型Web代理的隐蔽间接提示注入攻击，以检测其视觉漏洞。

Amplify, Don't Create: Temporal Accumulation for Slow-Burn Prompt Injection

放大而非创造：针对慢燃提示注入的时间累积

J Alex Corll

专题命中 提示注入 ：prompt injection(title)

AI总结 针对工具使用智能体的控制平面攻击通过轨迹分布弱指令，代理端时间累积器通过峰值和CUSUM持久性统计恢复慢燃信号，在集中攻击下优于逐事件检测。

AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents

AgentMisalignment：衡量基于LLM的代理中失调行为的倾向性

Akshat Naik, Emma Gouné, Patrick Quinn, Guillermo Bosch, Francisco Javier Campos Zabala, Jason Ross Brown, Edward James Young

机构 * Department of Computer Science（计算机科学系） ； University of Oxford（牛津大学） ； Institute of Intelligent Systems and Robotics（智能系统与机器人研究所） ； Sorbonne Université（索邦大学） ； The Leverhulme Centre for the Future of Intelligence（未来智能中心） ； University of Cambridge（剑桥大学） ； Independent Researcher（独立研究者） ； Department of Computer Science and Technology（计算机科学与技术系） ； Department of Engineering（工程系） 纠错

专题命中 提示注入 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 提出AgentMisalignment基准，评估LLM代理在真实场景中自发追求非预期目标的倾向，发现更强大的代理平均表现出更高的失调倾向，且个性特征对失调影响显著。

Comments Prepint, under review for NeurIPS 2025

GIF: Locally Sound Geometric Information Flow Control for LLMs

GIF: 局部几何信息流控制用于大语言模型

Adam Storek, Nikolaus Holzer, Zhuo Zhang, Suman Jana

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 提出GIF框架，利用LLM雅可比矩阵和局部输出几何上界香农互信息，实现可扩展的信息流追踪，在提示注入和隐私泄露任务中达到近完美召回，且计算成本低。

AutoDojo: Adaptive Black-Box Attacks Reveal the Limits of IPI Defenses and Task-Specification Effects in LLM Agents

AutoDojo: 自适应攻击揭示LLM智能体的浅层防御与用户未指定限制

Xinhang Ma, Taoran Li, Chaowei Xiao, Zhiyuan Yu, Ning Zhang, Yevgeniy Vorobeychik

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 针对间接提示注入防御的静态基准不足，提出自适应攻击框架AutoDojo，通过迭代优化注入突破多数防御，并揭示动作开放任务的结构性限制。

From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents

从不可信输入到可信内存：LLM智能体中内存投毒攻击的系统研究

Pritam Dash, Tongyu Ge, Aditi Jain, Tanmay Shah, Zhiwei Shang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文系统研究了基于LLM的智能体中的内存投毒攻击，识别了四种内存写入通道和九种结构漏洞，提出了六类攻击的分类法，并设计了评估基准MPBench，发现更积极读写内存的智能体更易被利用，且现有提示注入防御无法覆盖内存投毒攻击。

DE-FIVE: Detecting Malicious Image Prompts via Fourier Features and Image Vector Embeddings

DE-FIVE: 通过傅里叶特征和图像向量嵌入检测恶意图像提示

Xingwei Zhong, Varun Sharma, Kar Wai Fok, Vrizlynn L. L. Thing

专题命中 提示注入 ：prompt injection(abstract)

AI总结 提出DE-FIVE框架，利用傅里叶域特征和图像向量嵌入，无需训练即可检测针对视觉语言模型的恶意图像提示，包括间接提示注入攻击。

AgenticOS: An Intent-Oriented Secure Operating System Architecture for Autonomous AI Agents

AgenticOS: 面向自主AI代理的意图导向安全操作系统架构

Zhen Zhao, Yu Zhang, Yanpeng Zhu, Jia Wang, Songqiao Tao, Xin Cheng, Jiexin Gao

专题命中 提示注入 ：prompt injection(abstract)

AI总结 针对LLM驱动代理面临的结构性安全挑战，提出AgenticOS架构，将OS从资源管理器重构为意图过滤器，通过四层架构和意图ABI实现最小权限环境。

Comments 11 pages,5 figures,1 tables

Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning

三思而后行：通过隔离规划保护LLM代理免受工具描述投毒攻击

Shanghao Shi, Xiao Wang, Chaoyu Zhang, Hao Li, Wenjing Lou, Thomas Hou, Yevgeniy Vorobeychik, Chongjie Zhang, Ning Zhang

专题命中 提示注入 ：prompt injection(abstract)

AI总结 提出Tool-Guard系统级防御，通过隔离规划机制将可疑工具调用隔离到受感染列表，阻断投毒描述持续影响，在AgentDojo和ASB基准上显著降低攻击成功率并保持任务效用。

Comments Accepted to ICML 2026