大模型对齐与安全

Diffuse AI Control on Fuzzy Tasks

模糊任务上的扩散AI控制

Mikhail Terekhov, Caglar Gulcehre, Vivek Hebbar, Joe Benton

机构 * Anthropic Fellows Program (via MATS)（Anthropic 研究员计划（通过 MATS）） ； EPFL（洛桑联邦理工学院） ； Redwood Research（红木研究） ； Anthropic 纠错

专题命中 红队测试 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

AI总结 针对AI在模糊任务上的长期扩散威胁，提出蓝队与红队对抗框架，通过弱模型评分训练强模型，并发现红队可利用多目标进化提示优化找到评分高但性能差的子版本行为，蓝队则通过对抗优化提升鲁棒性。

Beyond Pass/Fail: Using Process Mining to Understand How LLMs Resist (and Fail) Red Team Attacks

超越通过/失败：使用过程挖掘理解LLM如何抵抗（和失败）红队攻击

Zvi Topol

机构 * MuyVentive LLC 纠错

专题命中 红队测试 ：jailbreak(abstract)；red teaming(abstract)；分类 cs.AI

AI总结 提出将过程挖掘应用于红队攻击轨迹，通过分析事件日志提取直接跟随图和状态转移矩阵，揭示GPT-OSS和Llama 3.3在防御结构上的差异，发现传统攻击成功率指标无法捕捉的模型防御模式。

Trident : How to Break Deep Reinforcement Learning Cyber Defenses (Agentic)

三叉戟：如何突破深度强化学习网络防御（智能体式）

Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

专题命中 红队测试 ：red teaming(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对DRL网络防御对自适应威胁鲁棒性不足的问题，提出Trident智能体式LLM红队框架，通过含三类组件的设计，发现现有防御存在根本性脆弱性，大幅降低蓝方防御性能并揭示新兴行为。

Comments code: https://anonymous.4open.science/r/Trident-A934

Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents

超越攻击成功率：工具使用型人工智能代理的行动分级严重程度量表

Harry Owiredu-Ashley

专题命中 红队测试 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究指出代理红队测试基准的二元攻击成功率不能体现行动危害。为此引入行动分级伤害准则，通过预言机和评判小组计算量表。在AgentDojo工作区测试发现该准则能揭示新情况，虽与预言机一致性高但有盲点，贡献了可用于红队日志实际行动的严重程度工具。

Comments 8 pages, 6 figures. Code and artifacts: https://github.com/Harry-Ashley/action-graded-severity

Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World

面向AI原生世界的计算机科学课程中的AI韧性评估

Anshumali Shrivastava

机构 * Rice University（莱斯大学） 纠错

专题命中 红队测试 ：red teaming(abstract)；分类 cs.AI、cs.CY

AI总结 提出基于帕累托盈余的AI韧性评估框架，通过可执行评估器衡量学生超越AI基线的能力，并应用于Bloom过滤器作业实例。

Culturally-Adapted Red-Teaming Across East and Southeast Asian Contexts: A Methodological and Comparative Analysis

跨东亚和东南亚语境的文化适应红队测试：方法论与比较分析

Hyeji Choi, Yongtaek Lim, Minwoo Kim

机构 * University of California, Berkeley（加州大学伯克利分校） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型的多语言安全评估，通过构建直接翻译与文化适应数据集，发现文化适应提示的攻击成功率平均提升9.3个百分点，直接翻译低估风险，且文化深度评分显著低于文化适应版本，表明适应文化语境对有效评估至关重要。

Comments Accepted to ICML 2026 Workshop on Culture X AI

Generating Attacks for LLMs with GFlowNets

用GFlowNets为大语言模型生成攻击

Berkay Ozcam, Irem Onen, Mehmet Fatih Amasyali, Emin Islam Tatli

专题命中 红队测试 ：red teaming(abstract)；分类 cs.AI

AI总结 本研究提出基于GFlowNets的自动化自适应红队评估方法，训练攻击者模型测试目标大语言模型，可生成更有效的英文攻击及土耳其语攻击输入，用于评估模型鲁棒性。

Agent Hacks Agent: Autoresearch for Production-Agent Red-Teaming

智能体攻击智能体：用于生产智能体红队测试的自动研究

Xutao Mao, Xiang Zheng, Cong Wang

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 研究生产型语言模型智能体的自动化红队测试，提出AHA可证伪发现循环，通过该循环构建漏洞概念图。在Claude Code和Codex上测试，发现跨模型和智能体的可重复使用漏洞核心，生成的VCG为安全团队提供可审计工件，提升测试性能。

The Almost Intelligent Revolution: Options for Scaling Up Deliberation and Empowering People with AI

近乎智能的革命：扩大审议规模并利用AI赋能人类的选项

Serge Sharoff

机构 * Centre on Participatory and Deliberative Democracy（参与性和协商性民主研究中心） 纠错

专题命中 红队测试 ：red teaming(abstract)；分类 cs.CL

AI总结 探讨大型语言模型如何通过系统功能语言学视角扩大民主审议规模，增强包容性并赋权边缘群体，同时警惕过度承诺与低估风险。

Comments Published in /Handbook of Democracy in the Era of Artificial Intelligence/ edited by Evangelos Pournaras, Srijoni Majumdar, Carina Ines Hausladen, and Dirk Helbing. 2026

AI Sandboxes: A Threat Model, Taxonomy, and Measurement Framework

AI沙箱：威胁模型、分类法与测量框架

Inderjeet Singh, Haitham Mahmoud, Andrés Murillo

机构 * Fujitsu Research of Europe（富士通欧洲研究） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 提出AI沙箱的威胁模型、分类法和测量框架，形式化沙箱边界与最弱链规则，定义网络物理威胁模型，并通过三个案例验证。

Comments 50 pages, 8 figures, 10 tables

MAStrike: Shapley-Guided Collusive Red-Teaming on Multi-Agent Systems

MAStrike: 基于Shapley值的多智能体系统合谋红队测试

Chejian Xu, Zhaorun Chen, Jingyang Zhang, Freddy Lecue, Avni Kothari, Sarah Tan, Wenbo Guo, Bo Li

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Virtue AI ； University of Chicago（芝加哥大学） ； Wells Fargo（摩根大通） ； Salesforce ； University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 提出MAStrike框架，通过Shapley值分析识别多智能体系统中脆弱智能体联盟，生成角色感知的对抗攻击，并迭代优化以绕过防御，显著优于启发式基线。

Runtime Compliance Verification for AI Agents

AI代理的运行时合规性验证

Nafiseh Kahani, Masoud Barati, Diana Addae

专题命中 红队测试 ：red teaming(abstract)

AI总结 提出C-Trace框架，通过运行时监控和形式化策略谓词，确保AI代理在工具调用和对话中遵守GDPR规则，将攻击成功率降至12%以下。

StepJack: Benchmarking Computer-Use Agent Safety Against Multi-Step Indirect Prompt Injection

StepJack：针对多步骤间接提示注入的计算机使用智能体安全基准测试

Zhuoxin Zhan, Akbar Rafiey, Avery Ma, Leila Pishdad, Layla El Asri

专题命中 提示注入 ：safety(title,abstract)；prompt injection(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出多步骤间接提示注入新型攻击，构建含480个测试样例的StepJack基准，评估六款先进CUAs，发现多步骤攻击可提升部分CUAs的攻击成功率。

Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment

通过推理启用的任务对齐防御自适应提示注入攻击

Lipeng He, Yihan Wang, Jiawen Zhang, N. Asokan

机构 * University of Waterloo（滑铁卢大学） ； Zhejiang University（浙江大学） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；alignment(title)；safety(abstract)；分类 cs.AI

AI总结 提出RETA方法，通过基于用户任务的多目标强化学习训练防御器，利用思维链推理验证行动一致性，并采用字典学习多样性奖励生成对抗样本，在六种自适应攻击下平均攻击成功率低于4%。

Brain-Prompt Injection: A Route-Safety Audit for BCI-LLM Agents

脑提示注入：BCI-LLM代理的路径安全审计

Jianwei Tai

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 提示注入 ：safety(title,abstract)；prompt injection(title,abstract)；分类 cs.AI

AI总结 提出路径安全审计契约，通过分离定理和共形校准量化BCI-LLM代理中脑信号注入攻击的风险，实验证明确认通道可降低路由风险。

Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B

Semalith v1.4：一个经过校准的1.84亿参数安全分类器，在参数比Llama - Guard - 3 - 8B少44倍的情况下实现了先进的提示注入检测

Tejasvi C. Addagada

专题命中 提示注入 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对金融服务等场景中大语言模型安全分类需求，提出Semalith v1.4分类器，能单步实现三轴安全分类，经训练和对比测试，在提示注入检测上表现出色且参数少，还给出不同场景下的部署建议。

Comments 16 pages, 8 tables, no figures

PVDetector: Detecting Prompt Injection Attacks on Purpose-Specific LLM Agents through Policy-Violation Concept Analysis

PVDetector：通过策略违规概念分析检测针对特定目的大语言模型代理的提示注入攻击

Junhui Wang, Hangtao Zhang, Zhirun Zheng, Li Zeng, Jiejun Xiao, Xi Luo, Lihua Yin, Saiqin Long

专题命中 提示注入 ：prompt injection(title,abstract)；alignment(abstract)；safety(abstract)

AI总结 研究针对特定目的LLM代理的提示注入攻击，提出PVDetector框架，通过测量与离线派生的PV概念的隐藏状态对齐来检测攻击，实验表明该方法误报率低、开销小，性能优于现有方法。

Comments Accepted to ACM MM 2026. Code: https://github.com/Claresigle/PVDetector

ToolHazard: Scaling Adversarial Environments for Security Evaluation and Alignment of LLM-based Agents

ToolHazard：用于基于大语言模型智能体的安全评估与对齐的可扩展对抗环境

Yutao Mou, Pengfei Yang, Zhe Yin, Zhangchi Xue, Xiaotian Luan, Dingyao Yu, Tong Zhang, Shikun Zhang, Wei Ye

专题命中 提示注入 ：alignment(title,abstract)；prompt injection(abstract)；分类 cs.CL

AI总结 研究针对集成外部工具的LLM智能体的安全漏洞问题，提出可扩展对抗环境合成框架ToolHazard，构建ToolHazard-Bench测试智能体，生成的对齐数据可提升智能体安全性且保留任务效用。

Comments Work in Progress

The Anatomy of a Prompt Injection: A Component Model for Structured Analysis

提示注入的剖析：用于结构化分析的组件模型

Jeremy McHugh

专题命中 提示注入 ：prompt injection(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出七个组件的提示注入结构化分析模型，统一相关分类法，结合实例与CTI模式，助力标记、分析提示注入攻击。

PlanFlip: Attacking Multi-Agent LLM Systems via Planning-Phase Prompt Injection

PlanFlip：通过规划阶段提示注入攻击多智能体大语言模型系统

Yuhang Wang

机构 * Fudan University（复旦大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 研究针对多智能体大语言模型系统规划阶段的攻击，提出PlanFlip框架包含四种攻击，通过对九个模型的3479次测试发现能力放大漏洞、同类管道盲点及推理增强模型的抗性等结果，并提出检测方法，强调异构模型多样性对系统安全的重要性。

NetInjectBench: Benchmarking Indirect Prompt Injection in Tool-Using Large Language Model Agents for Network Operations

NetInjectBench：用于网络操作的工具使用大型语言模型代理中间接提示注入的基准测试

Ruksat Khan Shayoni, Muhammad Faraz Shoaib, S M Asif Hossain, M. F. Mridha

机构 * School of Computing, Wichita State University（威斯康星州立大学计算机学院） ； Department of Computer Science, American International University-Bangladesh（孟加拉国国际大学计算机科学系） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 研究网络操作中工具使用大型语言模型代理的间接提示注入问题，提出NetInjectBench基准测试。通过多种方法评估，发现单纯执行不安全率高，不同方法可降低该率，元数据感知策略门效果好，表明网络操作代理需执行时授权边界。

Contrastive-Difference CKA Reveals Concept-Specific Structural Alignment Across Language Model Architectures

对比差异CKA揭示跨语言模型架构的概念特定结构对齐

Xueping Gao

机构 * Alibaba Cloud（阿里云） 纠错

专题命中 提示注入 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 提出对比差异CKA（CKA_Delta）方法，发现不同LLM架构在概念表示上存在几何收敛与功能可迁移性分离的现象，能有效区分概念特定相似性与通用相似性。

Assessing Automated Prompt Injection Attacks in Agentic Environments

评估智能体环境中的自动化提示注入攻击

David Hofer, Edoardo Debenedetti, Florian Tramèr

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究在智能体环境中，黑盒优化方法（TAP）比梯度方法（GCG）更有效，且攻击效果依赖于攻击者模型，任务通用攻击可迁移但跨模型迁移受限。

Devil in the Lens: Analyzing and Defending Physical Prompt Injection Against Vision-Language Models on Wearable Devices

镜头中的恶魔：分析并防御可穿戴设备上针对视觉语言模型的物理提示注入

Yaxin Li, Hao Wang, Yanda Shao, Shuhao Zhang, Yan Long

专题命中 提示注入 ：prompt injection(title,abstract)；safety(abstract)

AI总结 研究针对可穿戴设备上视觉语言模型的物理提示注入攻击，利用真实环境照片分析出6种威胁向量及对12个模型的影响，攻击成功率高，还提出基于掩码的外部过滤器和基于语义向量的内部检测器两种防御策略。

Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents

LLM智能体中针对提示注入的带外防御的自适应评估

Praneeth Narisetty, Shiva Nagendra Babu Kore, Uday Kumar Reddy Kattamanchi, Jayaram Kumarapu

机构 * LaunchSafe Research（LaunchSafe研究院） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文组织带外防御（如CaMeL、Progent）为经典完整性保护与引用监视实例，并在AgentDojo上对Qwen2.5-7B代理进行自适应评估，结果显示Progent将攻击成功率从25.8%降至4.2%，手工自适应攻击未提升成功率。

Comments 12 pages, 5 figures, 4 tables

Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection

防御检索增强型入侵检测系统免受知识投毒与提示注入攻击

Kaysarul Anas Apurba, Md. Hasibul Hasan, Mahedee Zaman Moon, Sk. Md. Mizanur Rahman, Atsuo Inomata

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RAG-IDS三层多智能体入侵检测框架，通过软信任评分、LECC和提示净化的检索边界防御，可在知识投毒与提示注入攻击下恢复分类质量，在CIC-UNSW-NB15数据集上表现出良好的防御效果。

Comments 14 pages with Appnedix, 11 figures. Submitted to IEEE CIC 2026, Research Track (double-blind review)

Beyond Feedforward Networks: Reentry Neural Systems as the Fundamental Basis of Subjecthood and Intrinsic Safety of Next-Generation AGI

超越前馈网络：作为下一代通用人工智能主体性与内在安全基础的再入神经系统

A. S. Ushakov, Yu. N. Berdinsk

机构 * Saint Petersburg State University（圣彼得堡国立大学） 纠错

专题命中 提示注入 ：safety(title)；prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于闭环再入循环（D<->I循环）的安全AGI架构蓝图，通过结构循环和自持放大数学保证自我模型、自我保存和未编程目标导向行为的涌现，并引入多项式时间可计算的S度量。

Not an A11y: How Android Accessibility Exposes Mobile AI Agents to Indirect Prompt Injection

并非无障碍功能（A11y）：安卓无障碍功能如何将移动智能体暴露于间接提示注入攻击

Rahul Deivasigamani, Sayeda Faatin Alvi, Derqui Andrea, Kaushal Punjabi, Stjepan Picek

机构 * Radboud University Nijmegen（奈梅亨拉德堡德大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本文揭示安卓移动智能体框架因依赖未过滤的无障碍元数据，存在间接提示注入漏洞，经实证验证其攻击成功率达0.822，需强化零信任输入验证等安全措施。

Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection

迈向元认知少样本间接提示注入：基于结果条件反射的策略抽象

Sihan Hou, Xinmeng Hou, Zhijun Zhang, Zehao Wang, Xuhong Ren, Sibo Qin, Kuntharrgyal Khysru, Qing Guo

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL

AI总结 本文提出SAVOR方法，将攻击适配转向离线策略蒸馏，仅需一次目标智能体查询，在多基准与模型上攻击成功率显著优于现有方法，且记忆可跨防御迁移。

BASIS: Breach-Aware Selective Prompt Injection Shielding with Prefill Attention Probes

BASIS：基于预填充注意力探测的漏洞感知选择性提示注入防护

Laiqiao Qin, Tianqing Zhu, Longxiang Gao, Wanlei Zhou

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.LG

AI总结 BASIS是一种基于预填充注意力探测的提示注入防御方法，通过级联门控的稀疏线性探测器实现精准检测，可在保持高注入检测率的同时减少不必要的过度拒绝。