大模型对齐与安全

Document-Authored Control-Signal Impersonation: A Low-Cost Indirect Prompt Attack on RAG Safety Boundaries

文档作者控制信号冒充：对RAG安全边界的低成本间接提示攻击

Jianguo Zhu

机构 * Chengdu University of Information Technology（成都信息工程大学） 纠错

专题命中 提示注入 ：safety(title)；prompt injection(abstract)；分类 cs.CL

AI总结 研究检索增强生成系统中文档文本冒充控制信号的安全漏洞，提出非命令式间接注入攻击方法DACSI，并在多个模型上验证其有效性。

Comments Preprint. Independent-author version

PromptShield Home: Ambient Multimodal Prompt Injection Defense for Smart-Home Agents

PromptShield Home：面向智能家居智能体的环境多模态提示注入防御方案

He Zhang, Feilong Li, Dingning Long, Yilin Cui, Peijun Zhang, Yuewen Zhang, Qianyao Xu, Xinyi Fu

专题命中 提示注入 ：prompt injection(title)；safety(abstract)

AI总结 该研究针对智能家居智能体的提示注入安全问题，构建了现实场景基准测试PromptShield-Home，对比了三类防御层的性能，发现多智能体调解的上限性能最优，提出应采用学习路由与传感器融合方案保障安全。

Comments This work has been accepted as a poster to UbiComp 2026

Just Testing, Move Along: Evasion of LLM-based System Log Interpretation by Prompt Injection

只是测试，继续前进：通过提示注入规避基于大语言模型的系统日志解释

Max Landauer, Florian Skopik, Markus Wurzenberger, Franciszek Górski, Mateusz Krzysztoń

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 研究基于大语言模型的系统日志解释中提示注入攻击问题，提出评估框架，利用真实攻击日志痕迹创建对抗示例，证明攻击可致恶意日志误分类，且LLMs解释含对抗指标可用于检测攻击。

Context Contamination in LLM Analysis of Network Security Logs: Poison with Passive Prompt Injection and Mitigation Evaluation

网络安全日志的大语言模型分析中的上下文污染：通过被动提示注入进行中毒攻击及缓解评估

Rabimba Karanjai, Yang Lu, Hemanth Hegadehalli Madhavarao, Lei Xu, Weidong Shi

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 研究网络安全日志大语言模型分析中的上下文污染问题（被动提示注入漏洞），提出LogInject框架评估威胁，通过实验得出攻击成功率等数据，引入上下文拼接技术，评估分层防御效果，揭示需深度防御架构和人工监督。

Follow the Norm: Accounting for Fine-Tuning and Prompt Effects on Model Rationales

遵循规范：考量微调与提示对模型理由的影响

Long Hoang Nguyen, Brice Valentin Kok-Shun, Guangyu Du, Ali Sunyaev

专题命中 提示注入 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.CY

AI总结 该研究将AI视为代理主体，通过对LLaMA-3.2-11B等三个模型开展实验，发现违反规范的微调会改变模型的理由风格，而系统提示可覆盖该行为，支持对齐的分布式观点，为可争议监督提供了相关依据。

Comments Extended version with appendix; final version to appear in the Proceedings of AAAI/ACM AIES 2026

Breadcrumbing Search Agents

面包屑式搜索智能体

Xuebin Li, Hanqing Zhao, Siyuan Liang, Kejiang Chen, Weiming Zhang, Dacheng Tao, Nenghai Yu

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM搜索智能体的安全问题，提出ACH和TGSE策略，通过操纵搜索结果形成连贯证据链，大幅提升攻击成功率。

Comments 38 pages, 7 figures

On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models

论共享嵌入序列模型中指令与数据的不可分离性

Dewank Pant, Shruti Lohani, Avijit Kumar

机构 * Independent Researcher（独立研究员） 纠错

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文证明在共享嵌入架构中，由于缺乏强制控制-数据分离，完美防御提示注入在数学上是不可能的，并提出了语义忠实控制（SFC）的概念，通过三个理论结果揭示了其根本原因，类比冯·诺依曼架构的代码-数据混淆问题。

Comments 18 pages, 1 figure, 2 tables

VATS: Exploiting Implicit Authority in Error-Path Injection via Systematic Mutation

VATS: 通过系统性变异利用错误路径注入中的隐式权威

Harshil Patel, Kunal Pai

机构 * Harshil Patel ； Kunal Pai 纠错

专题命中 提示注入 ：safety(abstract,comments)；prompt injection(abstract)；分类 cs.AI

AI总结 提出VATS框架，通过七维变异生成对抗性负载，利用错误消息的隐式权威绕过安全机制，在四个前沿模型上实现高达100%的注入成功率。

Comments Published at Second Workshop on Agents in the Wild: Safety, Security, and Beyond (ICML 2026 AIWILD)

From Prompt Injection to Web Exploitation: Revisiting Classic Vulnerabilities in LLM-Integrated Applications

从提示注入到Web漏洞利用：重新审视集成大语言模型的应用中的经典漏洞

Spiros Tsigkopoulos, Christoforos Ntantogian

专题命中 提示注入 ：prompt injection(title)

AI总结 本文研究集成大语言模型的Web应用的新型攻击LLM介导的Web攻击，提出LLM2X系列攻击类型，通过实现TicketOracle实验发现模型易感性差异，给出多层缓解策略。

LoginTrap: Uncovering Task-Agnostic Phishing-Style Indirect Prompt Injection Attacks against LLM-based Web Agents

LoginTrap：针对基于大语言模型的Web智能体的任务无关型钓鱼式间接提示注入攻击的发现

Longtao Guo, Zelin Zhang, Kaifeng Huang, Yang Shi

专题命中 提示注入 ：prompt injection(title)

AI总结 该研究提出LoginTrap攻击，是针对基于LLM的Web智能体的任务无关型登录诱导攻击，在黑盒威胁模型下可达到86%的平均端到端攻击成功率，揭示了登录诱导的认证边界风险并推动相关防御研究。

Amplify, Don't Create: Temporal Accumulation for Slow-Burn Prompt Injection

放大而非创造：针对慢燃提示注入的时间累积

J Alex Corll

专题命中 提示注入 ：prompt injection(title)

AI总结 针对工具使用智能体的控制平面攻击通过轨迹分布弱指令，代理端时间累积器通过峰值和CUSUM持久性统计恢复慢燃信号，在集中攻击下优于逐事件检测。

CodeSentinel: A Three-Layer Defense Against Indirect Prompt Injection in Code Contexts

CodeSentinel：代码上下文中针对间接提示注入的三层防御

Po-Han Cheng, Chia-Mu Yu, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

专题命中 提示注入 ：prompt injection(title)

AI总结 针对代码大语言模型在检索外部代码时面临的间接提示注入攻击，提出CodeSentinel三层推理时净化器，结合语法引导预过滤、CST引导动态Min-K%评分和节点扰动分析，实现0.80节点级F1，优于现有方法。

NiyamAI - An Intent-Bound AI Agent with Cryptographically Verifiable Guardrails using Zero-Knowledge Proofs

NiyamAI——一种使用零知识证明实现密码学可验证护栏的意图绑定AI智能体

Aditya Katkar, Om Karkele, Kartik Mandhane, Manisha More, Yash Kashid

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 Niyam-AI是一种基于零知识证明的意图绑定AI智能体框架，通过SHA-256承诺意图合约、Judge模型验证和zk-SNARK确保证明，在Agent-SafetyBench评估中较多款基线护栏实现显著安全性能提升。

Agent Security Needs Redefinition through a Holistic Framework

通过整体框架重新定义智能体安全需求

Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Chenguang Wang, Dawn Song

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究指出智能体安全是上下文问题，当前基于内容的框架有误。通过源授权、任务对齐、行动对齐和数据隔离四个属性实施上下文安全，改变了防御连贯性、评估有效性及可识别的攻击模式。

Comments ICML 2026 Position Paper

Distributed Denial of Science: How Indirect Data Poisoning of AI Systems Can Industrialize Scientific Fraud

分布式科学否认：人工智能系统的间接数据投毒如何使科学欺诈产业化

Bálint Gyevnár, Atoosa Kasirzadeh, Nihar B. Shah

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究探讨人工智能时代科学欺诈新形式，即间接数据投毒。对手 corrupt 开放数据集上传，使自主研究代理处理后传播欺诈。通过多话题、多系统实验发现投毒成功率高而检测率低。提出科学家角色和数据溯源审计措施，后者可有效降低攻击成功率。

Analyzing the Narration Gap in LLM-Solver Loops

分析大语言模型-求解器循环中的叙述差距

Zunchen Huang, Songgaojun Deng

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 研究LLM与SAT/SMT求解器混合推理中，将求解器输出转化为用户答案的叙述步骤存在的安全漏洞，通过形式化建模和实验评估发现证书门控可保证求解结果正确，但对抗攻击可反转结论。

Overcoming the Impedance Mismatch: A Theoretical Roadmap for Fusing Foundation Models and Knowledge Graphs

克服阻抗不匹配：融合基础模型与知识图谱的理论路线图

Sahil Rajesh Dhayalkar

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本文提出“阻抗不匹配”概念，形式化分析基础模型与知识图谱的结构与几何摩擦，通过三级层次分类揭示现有方法的局限，并给出理论路线图实现真正的语义融合。

Comments 12 pages. Accepted at the ACL 2026 4th Workshop on Towards Knowledgeable Foundation Models (https://openreview.net/forum?id=hXDYsNAq8m)

Rethinking Agent Security as a Networking Problem

将智能体安全重新思考为一个网络问题

Van Tran, Taveesh Sharma, Tajveer Singh Dhesi, Nick Feamster

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)

AI总结 该研究针对现有以智能体为中心的安全防御无法可靠防范AI智能体风险的问题，借鉴网络领域原则，提出结合确定性执行与语义策略的AI智能体安全系统设计思路。

Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

通过空间-光谱视觉锚学习缓解多模态大语言模型（MLLMs）中的视觉退化

Qianlong Yang, Bowen Ye, Xianda Guo, Yanlun Peng, Wenke Huang, Hongyuan Zhang, Yulei Jia

机构 * China University of Petroleum (East China)（中国石油大学（华东）） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Great Wall Motor（长城汽车） ； Nanyang Technological University（南洋理工大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)

AI总结 针对MLLMs推理时的视觉表示退化问题，提出SSVAL方法，通过VAPI及辅助对齐损失实现稳定视觉锚，性能优于现有方法。

Comments This paper has been accepted by ACM MM 2026

Behavioral Skill Reconstruction: Reconstructing Hidden Functionality from LLM Agent Skills

行为技能重构：从大语言模型智能体技能中重构隐藏功能

Peichun Hua, Haoxuan Xu, Mengyuan Li

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SkillClone黑盒攻击方法，可通过合法交互从隐藏的LLM智能体技能中重构其功能，表明仅文件保密无法确保功能保密。

Comments 20 pages, 5 figures, 20 tables

Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents

了解你的智能体：基于侦察的人工智能智能体渗透测试

Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对人工智能智能体的渗透测试，提出通过形式化智能体侦察，在KYA框架中利用探测、构建配置文件等实现黑盒侦察驱动的渗透测试自动化，并进行评估与发布，以提升智能体安全性。

PRISM: Recovering Instruction Sets from Language Model Activations

PRISM：从语言模型激活中恢复指令集

Gilad Gressel, Rahul Pankajakshan, Julia Diament, Efim Hudis, Krishnashree Achuthan, Yisroel Mirsky

机构 * Center for Cybersecurity Systems & Networks, Amrita Vishwa Vidyapeetham（阿姆里塔·维什瓦·维迪亚佩瑟姆网络安全系统与网络中心） ； Microsoft（微软） ； Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 提出PRISM方法，通过激活条件解码从冻结目标模型隐藏状态中恢复活跃指令集，利用法官引导的GRPO优化，在多种场景下优于基线方法。

Comments Under Review

Silent Updates: Measuring and Closing the Post-Deployment Disclosure Gap

静默更新：测量并弥合部署后的披露差距

Sophia Abraham, Ben Bucknall

专题命中 提示注入 ：safety(abstract)；分类 cs.CY

AI总结 本文针对基础模型部署后的静默更新问题，分析了相关披露实践，推出了测量披露情况的评分卡，并提出了触发披露义务的三部分行为触发系统。

Comments Accepted to AIES-26

SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills

SkillsMetric：映射恶意智能体技能静态分析的检测边界

Xinze Chen, Chi Zhang, Ping Ji, Yimin Liu

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本研究提出五阶段静态分析框架SkillsMetric，构建含2266个技能的对抗性数据集，发现静态分析对部分攻击检测不足，需结合静态预筛选与语义审查的纵深防御架构。

Comments 6 pages, 3 figures, 3 tables

Robust Context-Aware Detection of Malicious Instructions in Text

文本中恶意指令的鲁棒上下文感知检测

Buzhao Liu, Xinhang Ma, Yevgeniy Vorobeychik

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.LG

AI总结 该研究针对LLM易受间接提示注入攻击的问题，提出上下文感知的恶意句子分类方法及两种对抗训练技术，在静态和自适应攻击下均提升了IPI防御性能，且需根据领域调整参数。

Relational Priors as Convergence Pressure in LLM-Based Multi-Agent Systems

关系先验作为基于大语言模型的多智能体系统中的收敛压力

Ming Shen, Chao Shang, Sadat Shahriar, Devang Kulshreshtha, Yi Zhang, Sandesh Swamy, Yanjun Qi

专题命中 提示注入 ：alignment(abstract)；分类 cs.CL

AI总结 该研究将关系先验注入LLM-MAS提示中，发现其主要起收敛压力作用，正向性提升可促进智能体协调但未必提高准确性，建议按需使用而非默认添加。

Your Agentic LLMs Secretly Encode Latent Signals of Indirect Prompt-Injection Exposure

你的智能体大模型会秘密编码间接提示注入暴露的潜在信号

Jianshuo Dong, Yiming Liu, Maosen Zhang, Nan Deng, Xu Peng, Xiaoping Zhang, Tianwei Zhang, Jie Zhang, Han Qiu

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文研究智能体大模型的间接提示注入暴露问题，通过探测、防御、解释三方面分析，提出AGRI防御方法，可大幅降低攻击成功率且保持任务效用

Comments Preprint

Steering Instruction Hierarchies at Inference Time

推理时的指令层级调控

Siqi Zeng, Sewoong Lee, Han Zhao, Julia Hockenmaier

专题命中 提示注入 ：safety(abstract)；分类 cs.CL

AI总结 针对前沿大语言模型常违反指令层级的问题，提出无需训练的V-Steer方法，通过编辑缓存值向量调控指令层级，提升角色冲突基准准确率，性能优于仅提示基线，部分场景达到SoTA训练方法水平。

Comments Published as a conference paper at COLM '26; the first two authors contributed equally to the work. 24 pages, 9 figures

Agentic Cloud Decoys: A Deception-Driven Framework for Autonomous Intrusion Investigation

智能云诱饵：一种用于自主入侵调查的欺骗驱动框架

Mohan Manivannan, Dalal Alharthi

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究针对云遥测使入侵理解困难的问题，提出云诱饵人工智能代理框架，通过会话聚合运算符、动态提示生成等方法，在十个AWS S3场景测试中效果良好，能压缩调查路径，多数场景可完全重建，且延迟短。

Are You Still the Agent I Authorized? Earned Authority under a Fixed Ceiling for Evolving Agents

你还是我授权的那个智能体吗？在固定上限下演化智能体的获得性权限

Zhaoxi Zhang, Xiaomei Zhang

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究长期存在的人工智能智能体部署后演化引发的授权问题，提出状态边界模型阐述授权连续性，通过固定过渡包络和效果上限，区分请求与实现效果，证明突变不会超上限，还映射了六种突变类别的授权后果。