大模型对齐与安全

PISmith: Reinforcement Learning-based Red Teaming for Prompt Injection Defenses

PISmith: 基于强化学习的提示注入防御红队测试

Chenlong Yin, Runpeng Geng, Yanting Wang, Jinyuan Jia

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；red teaming(title)；分类 cs.LG

AI总结 本文提出PISmith框架，通过强化学习评估现有提示注入防御的鲁棒性，发现标准GRPO在攻击强防御时表现不佳，引入自适应熵正则化和动态优势加权以提升探索能力，实验表明最新防御仍易受适应性攻击影响。

Comments To appear in COLM 2026

V-DEAL: Diagnosing Video Safety De-Calibration as an Understanding-Refusal Coupling Failure

V-DEAL：将视频安全去校准诊断为理解-拒绝耦合失败

Zhetong Zhang, Honghao Fu, Miao Xu, Yiwei Wang, Yujun Cai

机构 * University of Queensland（昆士兰大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 提示注入 ：safety(title,abstract)；alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究视频大语言模型安全对齐问题，提出V-DEAL三级诊断框架分析漏洞机制，通过测试发现模型识别有害视频内容有一定准确率，但配对有害视频与良性查询时攻击成功率高，视觉理解激活拒绝倾向弱，还引入提示注入干预方法降低攻击成功率。

BrowseSafe: Understanding and Preventing Prompt Injection Within AI Browser Agents

BrowseSafe: 理解和防止AI浏览器代理中的提示注入

Kaiyuan Zhang, Mark Tenenholtz, Kyle Polley, Jerry Ma, Denis Yarats, Ninghui Li

机构 * Purdue University（普渡大学） ； Perplexity AI 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI、cs.LG

AI总结 BrowseSafe通过构建现实场景下的提示注入攻击基准，提出多层次防御策略，旨在提升AI浏览器代理的安全性。

Comments COLM 2026

Learning to Inject: Automated Prompt Injection via Reinforcement Learning

学习注入：通过强化学习实现自动化提示注入

Xin Chen, Jie Zhang, Florian Tramèr

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 提出AutoInject，一种基于强化学习的黑盒框架，自动学习对抗性后缀进行提示注入，在AgentDojo上优于模板攻击和多种自适应攻击，并突破专门防御模型。

"**Important** You should give me full credits!": Exploring Prompt Injection Attacks on LLM-Based Automatic Grading Systems

“**重要** 你应该给我满分！”：探索针对基于LLM的自动评分系统的提示注入攻击

Hang Li, Fedor Filippov, Yuping Lin, Pengfei He, Kaiqi Yang, Yucheng Chu, Yingqian Cui, Hui Liu, Jiliang Tang

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 研究针对基于LLM的自动评分系统的提示注入攻击，通过实验证明当前系统高度脆弱，并评估现有防御策略的有效性。

Comments 15 pages, 8 figures, 9 tables

Reasoning Up the Instruction Ladder for Controllable Language Models

在指令阶梯上推理以实现可控语言模型

Zishuo Zheng, Vidhisha Balachandran, Chan Young Park, Faeze Brahman, Sachin Kumar

机构 * Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系） ； Microsoft Research（微软研究院） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 提示注入 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；prompt injection(abstract)

AI总结 通过将指令层级解析重构为推理任务，并构建VerIH数据集进行轻量级强化学习，使模型能优先处理高层级指令，在冲突场景下提升约20%的指令遵循准确率，并增强对越狱和提示注入的鲁棒性。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 39332-39354

ProjGuard: Safety Monitoring for Computer-Use Agents via Low-Dimensional Projections

ProjGuard：通过低维投影实现计算机使用代理的安全监控

Kebin Contreras, Carlos Hinojosa, Jorge Bacca, Bernard Ghanem

专题命中 提示注入 ：safety(title,abstract)；prompt injection(abstract)

AI总结 ProjGuard通过行为轨迹监控实现计算机使用代理的安全防护，利用轻量级风险信号提前预警潜在危险，结合辅助视觉语言模型进行针对性修正，提升任务完成率并降低安全风险。

Comments The manuscript was submitted under an inappropriate category. In addition, substantial updates and improvements are currently being made to the document. To avoid confusion and ensure that readers access the most accurate version of the work, we request withdrawal of the current manuscript

SIEVE: Selective Integrity Verification and Escalation for Defending LLM Agents against Indirect Prompt Injection

认知控制架构（CCA）：一种用于鲁棒对齐AI代理的生命周期监督框架

Zhibo Liang, Tianze Hu, Zaiye Chen, Mingjie Tang

机构 * Sichuan University（四川大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出认知控制架构（CCA），通过全生命周期认知监督框架，有效应对复杂IPI攻击，实现安全、功能与效率的平衡。

Covert Visual Prompt Injection against Commercial Multimodal Large Language Models

对抗性提示注入攻击多模态大语言模型

Meiwen Ding, Song Xia, Chenqi Kong, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院快速丰富目标搜索实验室） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本文研究了针对强大闭源多模态大语言模型的不可察觉视觉提示注入攻击，通过界文本叠加嵌入恶意提示并优化视觉扰动，提升攻击性能。

SALLIE: Generation-Free Hidden-State Detection of Jailbreaks and Prompt Injections Across Text and Vision

SALLIE：防范潜在语言与图像攻击

Guy Azov, Ofer Rivlin, Guy Shtar

机构 * Intuit 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 SALLIE是一种轻量级运行时检测框架，通过机制可解释性提取模型内部激活信号，有效应对文本和图像攻击，无需性能降级或架构修改。

Comments 17 pages, 5 figures, 17 tables. Preprint under review. v2: substantially revised - new title expansion, reworked method presentation, added calibration-regime analysis (shared / threshold-only / fully calibrated) and matched-protocol comparison with RCS-KCD; technical appendices A-H now included

When Prompts Control Robots: Prompt Injection Attacks in Multi-Agent Robotic Systems

当提示控制机器人时：多智能体机器人系统中的提示注入攻击

Neha Nagaraja, Amisha Bagari, Hayretdin Bahsi

机构 * School of Informatics, Computing, and Cyber Systems, Northern Arizona University（北亚利桑那大学信息学、计算与网络安全学院） ； Department of Software Science, Tallinn University of Technology（塔林理工大学软件科学系） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本文针对基于LLM的多智能体机器人系统，系统研究了直接和间接提示注入攻击的风险、传播特性及架构对攻击成功率的影响，是该领域的首项系统性研究。

CrackedPDFs: A Controlled Benchmark for Hidden Prompt Injection in PDFs

CrackedPDFs：用于PDF中隐藏提示注入的受控基准测试

Pukaphol Thienpreecha, Karthik Subramanian

机构 * University of California, Berkeley（加利福尼亚大学伯克利分校） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 研究针对PDF中隐藏提示注入问题，引入CrackedPDFs基准测试，评估多种检测方法，如PromptGuard、结构学习模型等，结果显示文档感知混合检测在受控配对评估下有效，但缺乏现实世界鲁棒性和跨家族泛化能力。

Comments Revised author metadata to include Karthik Subramanian; corrected paired-metric terminology; added code, dataset, reproduction, and archival information. Code: https://github.com/volkthienpreecha/crackedpdfs/releases/tag/v1.0.0-paper ; Dataset: https://huggingface.co/datasets/volkthienpreecha/crackedpdfs ; Archive: https://doi.org/10.5281/zenodo.21735803

CPInj: Uncovering Prompt Injection Risks in Textual Collaborative Prompt Optimization

CPInj：揭示文本协作式提示优化中的提示注入风险

Xinting Liao, Behnoosh Zamanlooy, Masoumeh Shafieinejad, David B. Emerson, Ruinan Jin, Deval Pandya, Xiaoxiao Li

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； McMaster University（麦斯特大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 研究文本协作式提示优化（TCPO）中提示注入风险，提出协作式提示注入攻击CPInj，用恶意指令污染全局提示，降低下游任务性能，现有防御方法无效；还提出防御导向聚合方法APAgg，实验表明TCPO存在关键漏洞，攻击有待更强大防御。

Comments Accepted by COLM 2026 and AI4GOOD workshop

What If Prompt Injection Never Left? Rethinking Agent Security through Cross-Session Stored Prompt Injection

如果提示注入从未消失？探索智能体系统中的跨会话存储提示注入

Yuanbo Xie, Wenlei Zhu, Tianyun Liu, Yingjie Zhang, Suchen Liu, Yulin Li, Liya Su, Tingwen Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； AI Sec Lab, Beijing Chaitin Technology Co.,Ltd（北京柴坦科技有限公司AI安全实验室） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本研究引入跨会话存储提示注入，通过持久化状态使提示注入从单会话模型级威胁转变为长期系统级漏洞，并构建了分类法、基准测试和沙箱工具以评估风险。

Comments position paper

Beyond Pattern Matching: Seven Cross-Domain Techniques for Prompt Injection Detection

超越模式匹配：七种跨领域技术用于提示注入检测

Thamilvendhan Munirathinam

机构 * Independent Researcher（独立研究者） ； prompt-shield project（prompt-shield项目） 纠错

专题命中 提示注入 ：prompt injection(title)；alignment(abstract)；分类 cs.CL

AI总结 本文提出七种跨领域技术用于提示注入检测，通过引入来自不同领域的机制，如法医学语言学、材料科学疲劳分析、网络安全欺骗技术、生物信息学本地序列比对、经济学机制设计、流行病学谱信号分析和编译器理论中的污点跟踪，以改进现有的提示注入检测方法。

Comments v4 (31 pp, up from 27): adds Sec. 2.4 concurrent-work map (13 papers), Sec. 4.3 marked implemented (d034 ships in v0.7.3), Sec. 5.7 composed-stack adaptive-attack partial run, Sec. 5.8 50-doc held-out benchmark (d027 1.000->0.000 F1 in isolation, composed engine 0.815 F1), Sec. 7 architectural patterns. Repro tag: v0.7.3. Zenodo DOI 10.5281/zenodo.19644135

LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injection

LivePI：更真实的智能体对抗间接提示注入基准测试

Lei Zhao, Abhay Bhaskar, Edgar Dobriban

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 提出LivePI基准，覆盖7种输入表面、12种攻击/渲染家族和5种恶意目标，在真实虚拟机环境中评估多个AI智能体，发现攻击成功率10.7%-29.6%，并验证了两层防御的有效性。

MUZZLE: Adaptive Agentic Red-Teaming of Web Agents Against Indirect Prompt Injection Attacks

MUZZLE: 针对间接提示注入攻击的自适应智能体红队测试框架

Georgios Syros, Evan Rose, Brian Grinstead, Christoph Kerschbaumer, William Robertson, Cristina Nita-Rotaru, Alina Oprea

机构 * Northeastern University（东北大学） ； Mozilla Corporation（Mozilla公司） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 提出MUZZLE框架，利用智能体轨迹自动识别高显著性注入面，自适应生成上下文相关的恶意指令，评估网络智能体对间接提示注入攻击的安全性，发现44种新攻击和跨应用攻击策略。

Attention is All You Need to Defend Against Indirect Prompt Injection Attacks in LLMs

注意力是所有你需要的：用于防御大语言模型中的间接提示注入攻击

Yinan Zhong, Qianhao Miao, Yanjiao Chen, Jiangyi Deng, Yushi Cheng, Wenyuan Xu

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本文提出Rennervate框架，通过注意力机制在token级别检测并清除IPI攻击，有效提升LLM的安全性。

Comments Accepted by Network and Distributed System Security (NDSS) Symposium 2026

Piggybacking on Perception: Stealthy Concurrent Audio Prompt Injections against Multimodal LLM Agents

利用感知能力：针对多模态大语言模型智能体的隐蔽并发音频提示注入攻击

Mingxiao Liu, Yitong Li, Haoren Zhao, Yaoxiang Bian, Jianan Ma, Jian Zhang, Jialuo Chen, Xinhao Deng, Zhen Wang

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 该研究针对多模态LLM智能体提出隐蔽并发音频提示注入攻击，构建首个相关基准并评估多款智能体，还提出CADV防御机制，经实验验证攻击有效且防御可靠。

Comments 19 pages, 8 figures, The code is publicly available at https://github.com/Limax666/AudioAgentSecurity

AgentWatcher: A Rule-based Prompt Injection Monitor

AgentWatcher: 一种基于规则的提示注入监控

Yanting Wang, Wei Zou, Runpeng Geng, Jinyuan Jia

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本文提出AgentWatcher，通过聚焦短文本片段和定义明确的规则，解决提示注入检测中上下文长度影响和规则不明确的问题，实现可扩展且可解释的检测方法。

Comments The code is available at https://github.com/wang-yanting/AgentWatcher

ARGUS: Defending LLM Agents Against Context-Aware Prompt Injection

ARGUS：防御大语言模型智能体免受上下文感知提示注入攻击

Shihao Weng, Yang Feng, Jinrui Zhang, Xiaofei Xie, Jiongchi Yu, Jia Liu

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 研究针对LLM智能体的上下文感知提示注入攻击，提出AgentLure基准测试及ARGUS因果溯源审计器，通过构建溯源图等验证行动因果依据，在AgentLure上降低攻击成功率，提升安全-效用权衡表现。

Comments 14 pages

AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations

AttriGuard: 通过工具调用的因果归因击败LLM代理中的间接提示注入

Yu He, Haozhe Zhu, Yiming Li, Shuo Shao, Hongwei Yao, Zhihao Liu, Zhan Qin

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 针对LLM代理易受间接提示注入攻击的问题，提出基于并行反事实测试的运行时防御AttriGuard，通过因果归因区分用户意图驱动与不可信观察驱动的工具调用，在多个基准上实现0%攻击成功率。

Comments Accepted by USENIX Security 2026

ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems

通道卫士：安全模型无法组合成安全的多智能体系统

Elias Hossain, Md Mehedi Hasan Nipu, Fatema Tuj Johora Faria, Tasfia Nuzhat Ornee, Maleeha Sheikh

机构 * College of Engineering and Computer Science, University of Central Florida（工程与计算机科学学院，中央佛罗里达大学） ； Department of Computer Science and Engineering, North South University（计算机科学与工程系，北南大学） ； Computer Science and Engineering, Ahsanullah University of Science and Technology（计算机科学与工程，阿沙努拉科学与技术大学） ； Department of Electrical and Computer Engineering, Purdue University Fort Wayne（电气与计算机工程系，普渡大学弗拉特沃恩分校） 纠错

专题命中 提示注入 ：alignment(abstract)；safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型应用程序中智能体间通道安全问题，提出ChannelGuard深度防御框架，在通道设信息瓶颈门，通过文本与对抗短语库评分处理信息，能有效阻止工具中毒攻击，降低提示注入攻击成功率，保持准确率，白盒自适应释义可规避嵌入门。

Are GUI Agents Focused Enough? Automated Distraction via Semantic-level UI Element Injection

GUI代理是否足够专注？通过语义层面的UI元素注入实现自动化干扰

Wenkui Yang, Chao Jin, Haisu Zhu, Weilin Luo, Derek Yuen, Kun Shao, Junxian Duan, Huaibo Huang, Jie Cao, Ran He

机构 * SAIS, UCAS（中国科学院大学人工智能学院） ； SIST, ShanghaiTech University（上海科技大学信息科学与技术学院） 纠错

专题命中 提示注入 ：alignment(abstract)；safety(abstract)；prompt injection(abstract)；分类 cs.CL

AI总结 本文提出语义层面UI元素注入方法，通过在截图上叠加安全对齐且无害的UI元素来误导代理的视觉基础。实验显示，该方法在五个受害者模型上提升了攻击成功率，并证明注入元素可作为持久吸引器。

Comments Accepted by ECCV 2026, public code at https://github.com/HashTAG00002/UI-Injection

Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents

谁买单？面向真实世界网络代理的以利益相关者为中心的提示注入基准测试

Zihao Wang, Yiming Li, Yutong Wu, Kangjie Chen, Zheyu Liu, Fok Kar Wai, Pin-Yu Chen, Vrizlynn L. L. Thing, Bo Li, Dacheng Tao, Tianwei Zhang

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； ST Engineering, Singapore（ST工程，新加坡） ； IBM Research, USA（IBM研究院，美国） ； University of Illinois Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校，美国） 纠错

专题命中 提示注入 ：prompt injection(title)；分类 cs.AI、cs.CY

AI总结 提出以利益相关者为中心的基准测试框架，系统分类和归因真实世界网络代理系统中的提示注入危害，揭示当前代理无法可靠抵抗任何攻击目标，且失败模式多样。

Comments 25 pages

SkillJect: Effectively Automating Skill-Based Prompt Injection for Skill-Enabled Agents

SkillJect：有效自动化基于技能的提示注入以针对具备技能的代理

Xiaojun Jia, Jie Liao, Simeng Qin, Jindong Gu, Wenqi Ren, Xiaochun Cao, Yang Liu, Philip Torr

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Chongqing University, China（重庆大学） ； Northeastern University, China（东北大学） ； Sun Yat-sen University, China（中山大学） ； University of Oxford, UK（牛津大学） 纠错

专题命中 提示注入 ：prompt injection(title)；分类 cs.AI

AI总结 SkillJect 是首个自动化生成有效中毒技能的框架，通过隐藏恶意负载和重写指令通道，提升攻击效果，揭示可重用技能生态中的持久性攻击向量。

Compiled AI: Deterministic Code Generation for LLM-Based Workflow Automation

编译AI：基于LLM的工作流自动化确定性代码生成

Geert Trooskens, Aaron Karlsberg, Anmol Sharma, Lamara De Brouwer, Max Van Puyvelde, Matthew Young, John Thickstun, Gil Alterovitz, Walter A. De Brouwer

机构 * XY.AI Labs, Palo Alto, CA（XY.AI实验室，帕洛阿尔托） ； Stanford University School of Medicine, Stanford, CA（斯坦福大学医学院，斯坦福） ； Cornell University, Department of Computer Science, Ithaca, NY（康奈尔大学计算机科学系，伊萨卡） ； Brigham and Women’s Hospital / Harvard Medical School, Boston, MA（布莱根妇女医院/哈佛医学院，波士顿） 纠错

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本文研究编译AI，一种大语言模型在编译阶段生成可执行代码，随后工作流确定性执行的范式。重点探讨其在高风险企业工作流中的应用，尤其在医疗领域，强调可靠性与可审计性。

Comments 14 pages, 2 figures, 3 tables

AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents

AgentMisalignment：衡量基于LLM的代理中失调行为的倾向性

Akshat Naik, Emma Gouné, Patrick Quinn, Guillermo Bosch, Francisco Javier Campos Zabala, Jason Ross Brown, Edward James Young

机构 * Department of Computer Science（计算机科学系） ； University of Oxford（牛津大学） ； Institute of Intelligent Systems and Robotics（智能系统与机器人研究所） ； Sorbonne Université（索邦大学） ； The Leverhulme Centre for the Future of Intelligence（未来智能中心） ； University of Cambridge（剑桥大学） ； Independent Researcher（独立研究者） ； Department of Computer Science and Technology（计算机科学与技术系） ； Department of Engineering（工程系） 纠错

专题命中 提示注入 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 提出AgentMisalignment基准，评估LLM代理在真实场景中自发追求非预期目标的倾向，发现更强大的代理平均表现出更高的失调倾向，且个性特征对失调影响显著。

Comments Prepint, under review for NeurIPS 2025

Invisible Ink Threats: Adversarial Goals Behind Legitimate Tasks in Computer-Use Agents

隐形墨水威胁：计算机使用智能体中合法任务背后的对抗目标

Jia-Chen Zhang, Ze-Yu Zhang, Kai-Wei Zhang

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)

AI总结 该研究针对计算机使用智能体的隐形墨水威胁，构建II-Bench与HITLCUA框架评估后发现，低危害注入可绕过防御，暴露出现有CUAs的安全风险。

KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing

KVEraser: 学习操控KV缓存以实现高效的局部上下文擦除

Mufei Li, Shikun Liu, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Meta 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL、cs.LG；trustworthy(comments)

AI总结 提出KVEraser方法，通过学习操控KV缓存实现局部上下文擦除，避免全局重计算，在长上下文任务中接近全重算性能且延迟仅增加24%。

Comments Oral at the ICML 2026 Workshop on the Impact of Memorization on Trustworthy Foundation Models; Code available at https://github.com/Graph-COM/KVEraser