大模型对齐与安全

Position: Preventing AI-Generated CSAM Necessitates New Approaches to AI Safety

立场：防止人工智能生成的儿童性虐待材料需要新的人工智能安全方法

Neil Kale, Rebecca Portnoff, Pratiksha Thaker, Michael Simpson, Robertson Wang, Kevin Kuo, Chhavi Yadav, Virginia Smith

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Thorn 纠错

专题命中 红队测试 ：safety(title,abstract)；AI safety(title,abstract)；red teaming(abstract)；分类 cs.AI、cs.CY

AI总结 研究人工智能给儿童安全带来的新风险，指出保护儿童免受其助长的性虐待需新安全方法。探讨现有技术与相关约束的不兼容及带来的挑战，概述15个开放性问题并给出针对性建议，推动将负责任AI原则转化为儿童保护措施。

Comments Accepted (spotlight) in ICML 2026, Position Paper Track. The first two authors contributed equally and may list their names interchangeably

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

学习攻击与防御：通过GRPO对语言模型进行自适应红队测试

Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

机构 * Microsoft AI Red Team（微软AI红队） ； Microsoft Azure（微软Azure） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；DPO(abstract,abstract_cn)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AdvGRPO框架，通过密集多通道奖励和分离优势归一化实现GRPO在攻击者-防御者联合优化中的稳定训练，产生高效可迁移攻击，防御者优于基线。

Online Safety Monitoring for LLMs

LLMs的在线安全监控

Mona Schirmer, Metod Jazbec, Alexander Timans, Christian Naesseth, Maja Waldron, Eric Nalisnick

专题命中 红队测试 ：safety(title,abstract)；alignment(abstract)；red teaming(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过阈值化外部模型的验证信号并利用风险控制校准阈值，实现LLM输出的实时安全监控，在数学推理和红队测试中与高级方法性能相当。

Comments ICML 2026 Hypothesis Testing Workshop

Institutional Red-Teaming: Deployment Rules, Not Just Models, Causally Shape Multi-Agent AI Safety

机构红队测试：部署规则而非模型，因果性地塑造多智能体人工智能安全

Yujiao Chen

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 红队测试 ：safety(title,abstract)；AI safety(title)；分类 cs.AI

AI总结 研究多智能体人工智能安全中部署规则的影响，提出机构红队测试方法，通过IABench-CA实例化，发现规则改变集体安全、无安全默认规则、身份显著性是机制，还打包成安全案例工作流程认证规则区域并明确风险义务。

Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming

智能体对抗智能体：一种用于自动提示注入红队测试的智能体系统

Yanting Wang, Chenlong Yin, Runpeng Geng, Jinyuan Jia

专题命中 红队测试 ：prompt injection(title,abstract)；red teaming(title)

AI总结 本研究提出PIMiner智能体系统，用于自动提示注入红队测试，该系统构建可迁移策略库，仅需少量查询即可在IPIArena、AgentDojo基准上对多款LLM实现高攻击成功率，解决现有方法泛化性差的问题。

Comments Our code is available at https://github.com/wang-yanting/PIMiner

GPT-Red: Automated Red Teaming via Self-Play at Scale

GPT-Red：基于大规模自博弈的自动化红队测试

Eric Wallace, Christopher A. Choquette-Choo, Nikhil Kandpal, Sam Toyer, Dylan Hunn, Stephanie Lin, Yuxin Wen, Xiangyu Qi, Christopher Wolff, Zizhao Wang, Milad Nasr, Sicheng Zhu, Chuan Guo, Juan Felipe Cerón Uribe, Kaiwen Wang, Aiden Low, Kai Xiao, Kai Chen

专题命中 红队测试 ：red teaming(title)；safety(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出GPT-Red，一种基于大规模自博弈的自动化红队测试智能体，可发现新型提示注入攻击、攻破过往模型且泛化能力强，用于提升LLM鲁棒性并形成自我改进飞轮。

Comments 28 pages.13 main pages and 13 main figures

From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs

从不可听输入到模型失效：LALMs中的低频安全风险

Yuanhe Zhang, Weiliu Wang, Jie Ren, Liang Lin, Zhenhong Zhou, Haoran Gao, Kun Wang, Chen Li, Li Sun, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Nanyang Technological University（南洋理工大学） ； JIUTIAN Research（九天研究院） ； Tencent ARC Lab（腾讯ARC实验室） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 红队测试 ：safety(title,abstract)；red teaming(abstract)；分类 cs.AI

AI总结 本文提出不可听红队测试方法ILL评估LALMs的低频安全风险，发现其可降低LALMs准确率达67个百分点，同时提出DRG防护方法可提升受攻击后的准确率，明确了LALMs此前被忽视的安全风险。

OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution

OpenART：通过开放式环境演化扩展智能体红队演练规模

Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； XSafeAI 纠错

专题命中 红队测试 ：red teaming(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 本研究针对现有智能体安全基准无法捕捉累积风险的问题，推出开放式智能体红队演练平台OpenART，并提出EMHA攻击方法，在75种智能体模型配置上实现85.0%的汇总攻击成功率，为复杂环境下的智能体安全研究提供可扩展基础。

Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming

保护AI代理：多层代理红队测试的统一框架

Yong Yang, Xing Zheng, Huiyu Wu, Huangsheng Cheng, Xiaorong Shi, Jing Guo, Bo Yang, Yi Zhou, Xiangfan Wu, Zonghao Ying

专题命中 红队测试 ：red teaming(title,abstract)；jailbreak(abstract)

AI总结 提出AI-Infra-Guard框架，通过分层攻击面（基础设施、协议/工具、代理行为、模型）匹配不同检测范式，覆盖75+组件和1400+漏洞规则，实现代理安全红队测试。

Governing Execution Risk in Agentic AI Systems: A Trajectory-Guided Framework for Red Teaming

管控智能体AI系统的执行风险：一种基于轨迹的红队测试框架

Zhihao Zhu, Yi Yang

专题命中 红队测试 ：red teaming(title,abstract)；分类 cs.AI、cs.CY

AI总结 本研究提出基于轨迹的红队测试框架TrajRed和运行时管控层TrajGuard，在AgentDojo实验中，TrajRed识别的漏洞更强，TrajGuard可将攻击成功率降至近零且保留任务效用。

REDAgentBench: Executable Red Teaming and Faithful Measurement of LLM Agent Systems

REDAgentBench：可执行的红队测试与LLM智能体系统的忠实测量

Zixing Chen, Xingyuan Liu, Jie Zhu, Huaixia Dou, Shuo Jiang, Junhui Li, Lifan Guo, Feng Chen, Chi Zhang

专题命中 红队测试 ：red teaming(title)；safety(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体安全评估的缺陷，推出REDAgentBench框架，经实验发现其宏平均ASR为65.69%，还揭示了识别-执行差距，无训练策略提醒可减少70%以上违规

Comments 6 figures, 4 tables. Supplementary material included

Code Monitor Red Teaming for Public-Test-Passing Code

用于通过公开测试的代码的代码监控红队

Junchi Liao, Jiawen Deng, Fuji Ren

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；分类 cs.AI

AI总结 研究公开测试通过后代码隐藏错误监控问题，引入代码监控红队协议并实例化为代码监控基准。通过大量实验发现弱验证器虽能改进但仍易漏错，对抗性压力影响验证效果，GLM - 5.1验证器缩小部分差距，揭示了验证器故障与证据限制的问题。

NRT-Bench: Benchmarking Multi-Turn Red-Teaming of LLM Operator Agents in Safety-Critical Control Rooms

LLM智能体安全性、多轮红队测试、越狱基准、对抗鲁棒性、安全关键系统

Hanwool Lee, Dasol Choi, Bokyeong Kim, Haon Park, Seung Geun Kim

机构 * AIM Intelligence（AIM智能公司） ； KAERI（韩国原子能研究所） 纠错

专题命中 红队测试 ：safety(title,abstract)；分类 cs.AI

AI总结 提出NRT-Bench基准，通过模拟核电站控制室的多轮红队测试，评估LLM智能体在安全关键系统中的对抗鲁棒性，发现不同模型的漏洞几乎不重叠，且防御效果高度依赖模型。

From Battlefield to Boardroom: Strategic Red Teaming as an Epistemic Governance Instrument in the Age of AI

从战场到董事会：战略红队作为人工智能时代的知识治理工具

Jeroen Janssen

专题命中 红队测试 ：red teaming(title,abstract)；分类 cs.CY

AI总结 提出战略红队作为董事会层级的治理工具，通过六组件模型测试AI战略假设，将不确定性转化为可审查对象。

Comments 7 pages, technical report; arXiv edition of Apparens working paper

A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems

大语言模型漏洞的生命周期与应用栈调查：攻击、风险、防御与开放问题

Seyed Bagher Hashemi Natanzi, Bo Tang

机构 * Worcester Polytechnic Institute（伍斯特理工学院） 纠错

专题命中 红队测试 ：alignment(abstract)；safety(abstract)；red teaming(abstract)；分类 cs.AI

AI总结 本文通过生命周期与应用栈视角系统化梳理大语言模型系统的漏洞，涵盖数据收集、预训练、对齐、供应链、检索、推理、工具执行和部署等阶段，分析攻击、风险与防御，并提出安全研究议程。

Can Data Work be Reparative?

数据工作能否具有修复性？

Srravya Chandhiramowuli, Ding Wang, Alex Taylor

机构 * University of Edinburgh（爱丁堡大学） ； Google Research（谷歌研究院） 纠错

专题命中 红队测试 ：safety(abstract)；red teaming(abstract)；分类 cs.AI、cs.CY

AI总结 通过民族志研究，探讨公民科技倡议如何从女性主义视角协作构建安全数据集，旨在将数据工作重塑为修复与补救的场所，并分析其中遇到的挑战与张力。

Comments To be presented at ACM FAccT, Montréal, Canada, June 25 to June 28, 2026

Breaking Customized LLMs for Coding: Automated Red Teaming for Instruction Backdoor Attacks

针对代码任务定制化大语言模型的突破：针对指令后门攻击的自动红队测试

Yuchen Chen, Wei Cheng, Yuan Xiao, Wising Sun, Chunrong Fang, Yang Liu, Zhenyu Chen, Baowen Xu

专题命中 红队测试 ：red teaming(title)

AI总结 本文提出ARIA自动红队测试框架，可高效生成针对代码定制化LLM的隐蔽带后门指令，攻击成功率达0.945且规避检测能力强，性能优于现有基线攻击。

Comments Accepted to the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026

Diffuse AI Control on Fuzzy Tasks

模糊任务上的扩散AI控制

Mikhail Terekhov, Caglar Gulcehre, Vivek Hebbar, Joe Benton

机构 * Anthropic Fellows Program (via MATS)（Anthropic 研究员计划（通过 MATS）） ； EPFL（洛桑联邦理工学院） ； Redwood Research（红木研究） ； Anthropic 纠错

专题命中 红队测试 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

AI总结 针对AI在模糊任务上的长期扩散威胁，提出蓝队与红队对抗框架，通过弱模型评分训练强模型，并发现红队可利用多目标进化提示优化找到评分高但性能差的子版本行为，蓝队则通过对抗优化提升鲁棒性。

Beyond Pass/Fail: Using Process Mining to Understand How LLMs Resist (and Fail) Red Team Attacks

超越通过/失败：使用过程挖掘理解LLM如何抵抗（和失败）红队攻击

Zvi Topol

机构 * MuyVentive LLC 纠错

专题命中 红队测试 ：jailbreak(abstract)；red teaming(abstract)；分类 cs.AI

AI总结 提出将过程挖掘应用于红队攻击轨迹，通过分析事件日志提取直接跟随图和状态转移矩阵，揭示GPT-OSS和Llama 3.3在防御结构上的差异，发现传统攻击成功率指标无法捕捉的模型防御模式。

Trident : How to Break Deep Reinforcement Learning Cyber Defenses (Agentic)

三叉戟：如何突破深度强化学习网络防御（智能体式）

Ryozo Masukawa, Ian Bryant, Armita Kazeminajafabadi, Sanggeon Yun, Hyunwoo Oh, SungHeon Jeong, Nathaniel D. Bastian, Mahdi Imani, Mohsen Imani

专题命中 红队测试 ：red teaming(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对DRL网络防御对自适应威胁鲁棒性不足的问题，提出Trident智能体式LLM红队框架，通过含三类组件的设计，发现现有防御存在根本性脆弱性，大幅降低蓝方防御性能并揭示新兴行为。

Comments code: https://anonymous.4open.science/r/Trident-A934

Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents

超越攻击成功率：工具使用型人工智能代理的行动分级严重程度量表

Harry Owiredu-Ashley

专题命中 红队测试 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究指出代理红队测试基准的二元攻击成功率不能体现行动危害。为此引入行动分级伤害准则，通过预言机和评判小组计算量表。在AgentDojo工作区测试发现该准则能揭示新情况，虽与预言机一致性高但有盲点，贡献了可用于红队日志实际行动的严重程度工具。

Comments 8 pages, 6 figures. Code and artifacts: https://github.com/Harry-Ashley/action-graded-severity

Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World

面向AI原生世界的计算机科学课程中的AI韧性评估

Anshumali Shrivastava

机构 * Rice University（莱斯大学） 纠错

专题命中 红队测试 ：red teaming(abstract)；分类 cs.AI、cs.CY

AI总结 提出基于帕累托盈余的AI韧性评估框架，通过可执行评估器衡量学生超越AI基线的能力，并应用于Bloom过滤器作业实例。

Culturally-Adapted Red-Teaming Across East and Southeast Asian Contexts: A Methodological and Comparative Analysis

跨东亚和东南亚语境的文化适应红队测试：方法论与比较分析

Hyeji Choi, Yongtaek Lim, Minwoo Kim

机构 * University of California, Berkeley（加州大学伯克利分校） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型的多语言安全评估，通过构建直接翻译与文化适应数据集，发现文化适应提示的攻击成功率平均提升9.3个百分点，直接翻译低估风险，且文化深度评分显著低于文化适应版本，表明适应文化语境对有效评估至关重要。

Comments Accepted to ICML 2026 Workshop on Culture X AI

Generating Attacks for LLMs with GFlowNets

用GFlowNets为大语言模型生成攻击

Berkay Ozcam, Irem Onen, Mehmet Fatih Amasyali, Emin Islam Tatli

专题命中 红队测试 ：red teaming(abstract)；分类 cs.AI

AI总结 本研究提出基于GFlowNets的自动化自适应红队评估方法，训练攻击者模型测试目标大语言模型，可生成更有效的英文攻击及土耳其语攻击输入，用于评估模型鲁棒性。

Agent Hacks Agent: Autoresearch for Production-Agent Red-Teaming

智能体攻击智能体：用于生产智能体红队测试的自动研究

Xutao Mao, Xiang Zheng, Cong Wang

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 研究生产型语言模型智能体的自动化红队测试，提出AHA可证伪发现循环，通过该循环构建漏洞概念图。在Claude Code和Codex上测试，发现跨模型和智能体的可重复使用漏洞核心，生成的VCG为安全团队提供可审计工件，提升测试性能。

The Almost Intelligent Revolution: Options for Scaling Up Deliberation and Empowering People with AI

近乎智能的革命：扩大审议规模并利用AI赋能人类的选项

Serge Sharoff

机构 * Centre on Participatory and Deliberative Democracy（参与性和协商性民主研究中心） 纠错

专题命中 红队测试 ：red teaming(abstract)；分类 cs.CL

AI总结 探讨大型语言模型如何通过系统功能语言学视角扩大民主审议规模，增强包容性并赋权边缘群体，同时警惕过度承诺与低估风险。

Comments Published in /Handbook of Democracy in the Era of Artificial Intelligence/ edited by Evangelos Pournaras, Srijoni Majumdar, Carina Ines Hausladen, and Dirk Helbing. 2026

AI Sandboxes: A Threat Model, Taxonomy, and Measurement Framework

AI沙箱：威胁模型、分类法与测量框架

Inderjeet Singh, Haitham Mahmoud, Andrés Murillo

机构 * Fujitsu Research of Europe（富士通欧洲研究） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 提出AI沙箱的威胁模型、分类法和测量框架，形式化沙箱边界与最弱链规则，定义网络物理威胁模型，并通过三个案例验证。

Comments 50 pages, 8 figures, 10 tables

MAStrike: Shapley-Guided Collusive Red-Teaming on Multi-Agent Systems

MAStrike: 基于Shapley值的多智能体系统合谋红队测试

Chejian Xu, Zhaorun Chen, Jingyang Zhang, Freddy Lecue, Avni Kothari, Sarah Tan, Wenbo Guo, Bo Li

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Virtue AI ； University of Chicago（芝加哥大学） ； Wells Fargo（摩根大通） ； Salesforce ； University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 提出MAStrike框架，通过Shapley值分析识别多智能体系统中脆弱智能体联盟，生成角色感知的对抗攻击，并迭代优化以绕过防御，显著优于启发式基线。

Runtime Compliance Verification for AI Agents

AI代理的运行时合规性验证

Nafiseh Kahani, Masoud Barati, Diana Addae

专题命中 红队测试 ：red teaming(abstract)

AI总结 提出C-Trace框架，通过运行时监控和形式化策略谓词，确保AI代理在工具调用和对话中遵守GDPR规则，将攻击成功率降至12%以下。