大模型对齐与安全

Smarter Saboteurs, Better Fixers: Scaling & Security in Linear Multi-Agent Workflows

更聪明的破坏者，更好的修复者：线性多智能体工作流中的规模与安全性

Timothy McAllister, Sina Abdidizaji, Ivan Garibay, Ozlem Ozmen Garibay

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG

AI总结 研究模型规模对线性多智能体工作流安全性的影响，发现大模型更易执行恶意指令，但轻量级修复阶段可恢复性能，表明线性结构在适当校正下具有鲁棒性。

Comments 16 pages (4 are main text), 2 figures, 6 tables. Accepted to the AIWILD Workshop at ICML 2026

Dummy Backdoor as a Defense: Removing Unknown Backdoors via Shared Internal Mechanisms for Generative LLMs

虚拟后门作为防御：通过共享内部机制移除生成式大语言模型中的未知后门

Kazuki Iwahana, Masaru Matsubayashi, Takuma Koyama, Toshiki Shibahara, Kenichiro Omintato, Akira Ito

机构 * NTT Social Informatics Laboratories（NTT社会信息实验室） ； Tohoku University（东北大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL

AI总结 提出一种基于共享内部机制的后门移除方法，通过嵌入已知触发器的虚拟后门并微调移除，从而降低未知后门攻击成功率，同时保持模型效用。

Improving Adversarial Transferability on Vision-Language Pre-training Models via Surrogate-Specific Bias Correction

通过代理特定偏差校正提高视觉-语言预训练模型上的对抗迁移性

Lijia Yu, Jiuxin Cao, Yuchen Qiang, Changhao Chen, Yifei Huang, Bo Liu

机构 * School of Cyber Science and Engineering, Southeast University（东南大学网络空间安全学院） ； Purple Mountain Laboratories（紫金山实验室） ； School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.AI

AI总结 提出DeBias-Attack方法，通过梯度校正消除代理特定偏差，提高对抗样本在VLP模型间的迁移性，实验验证其在多种模型和任务上的有效性。

Comments 17 pages, 7 figures, 10 tables

Context-Fractured Decomposition Attacks on Tool-Using LLM Agents: Exploiting Artifact Provenance Gaps

上下文碎片化解构攻击：利用工具使用LLM代理的工件来源鸿沟

Xiaofeng Lin, Yukai Yang, Daniel Guo, Sahil Arun Nale, Charles Fleming, Guang Cheng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.AI

AI总结 针对工具使用LLM代理，提出上下文碎片化解构（CFD）攻击，利用跨上下文工件来源鸿沟实现多步越狱，成功率提升高达28.3个百分点。

PROVE: Training-Free Prompt Recovery using Verifiable Evidence

PROVE：基于可验证证据的无训练提示词恢复

Rupayan Mallick, Mahsa Khoshnoodi, Sarah Adel Bargal

专题命中 越狱攻击 ：alignment(abstract)

AI总结 该研究提出无训练的黑盒提示词反转攻击PROVE，通过可验证场景描述重建提示词，在多数据集上优于基线方法，可用于版权保护相关研究。

SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks

SoK：面向意图的多轮大语言模型越狱系统化研究

Siyuan Li, Aodu Wulianghai, Zehao Liu, Xi Lin, Qinghua Mao, Haoyu Li, Xiang Chen, Siyuan Liang, Jun Wu, Jianhua Li, Dacheng Tao

专题命中 越狱攻击 ：safety(abstract)

AI总结 本研究提出面向意图的多轮LLM越狱分类法，发现攻击有效性取决于意图组织精细度，推动检测范围升级，表明轮级安全机制不足，需对应层级评估协议。

From Role Prompt to Infinite Thinking: Exploiting Persona Conditioning for Inference Cost Attacks in LLMs

从角色提示到无限思考：利用角色条件进行大语言模型推理成本攻击

Zhiyi Mou, Wangze Ni, Tianfang Xiao, Haoyang LI, Chen Jason Zhang, Hanzhi Ma, Yang Bai, Zhibo Wang, Kui Ren

专题命中 越狱攻击 ：alignment(abstract)

AI总结 研究LLMs推理成本问题，提出RolePlay框架利用角色条件诱导低效行为放大推理成本，实验证明该框架优于现有方法，为LLM推理效率攻击提供新视角。

Comments 17pages

Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks

检测器学习到错误的东西：针对物理可实现攻击的抗捷径对抗训练

Yuanhao Huang, Yilong Ren, Jinlei Wang, Xuesong Bai, Zheng Zhang, Haiyang Yu

机构 * School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） ； State Key Lab of Intelligent Transportation System（智能交通系统国家重点实验室） ； Zhongguancun Laboratory（中关村实验室） ； School of Systems Science and Engineering, Sun Yat-Sen University（中山大学系统科学与工程学院） ； Shandong Sino-Aisa Tire Proving Ground Co.,Ltd.（山东中亚洲轮胎试验场有限公司） 纠错

专题命中 越狱攻击 ：safety(abstract)

AI总结 研究针对物理可实现攻击，提出实例级对比对抗训练框架InsCAT，通过SICA、ROPO和Guard等方法防止检测器将对抗纹理用作独立决策线索，经实验验证其在多场景和检测器上效果良好，提升检测可靠性。

When HTTP 402 Meets the Blockchain: Risks on Emerging x402 Payments

当HTTP 402遇上区块链：新兴x402支付的风险

Qinying Wang, Yong Yang, Yuan Chen, Shouling Ji, Mathias Payer

专题命中 越狱攻击 ：safety(abstract)

AI总结 研究x402支付协议，通过系统研究确定促进者的安全规则，基于规则违规分析得出新攻击向量，提出半自动黑盒工具评估安全性，发现部署均有违规，还通过实证测量量化相关指标，揭示其安全风险。

Journal ref USENIX Security 2026

Chameleon: Recovering Cyber-Physical Systems from Memory Corruption Attacks via ML Surrogates

Chameleon: 通过ML代理从内存破坏攻击中恢复信息物理系统

Mohsen Salehi, Karthik Pattabiraman

专题命中 越狱攻击 ：safety(abstract)

AI总结 提出Chameleon框架，利用基于机器学习的代理在检测到攻击时替换受损组件，实现信息物理系统从内存破坏攻击中的自动恢复，在多种机器人车辆上验证了高保真度和低开销。

ReShift: Aha-Moment-Driven Reasoning-Level Backdoor Attacks on Vision-Language Models

ReShift: 视觉-语言模型上基于“啊哈时刻”驱动的推理级后门攻击

Zhihao Dou, Qinjian Zhao, Zhiqiang Gao, Sumon Biswas

专题命中 越狱攻击 ：safety(abstract)

AI总结 提出ReShift框架，通过“啊哈时刻”驱动推理轨迹重定向，结合PRDC管道和SRJO策略实现隐蔽的后门攻击，理论保证熵反弹与轨迹发散的联系。

Comments ECCV 2026

Verifying Intent and Harm: A Unified Defense Against LLM-Generated Threats

验证意图与危害：针对LLM生成威胁的统一防御

Poojitha Thota, Yun Lei, Santhosh Thangaraj, Siddhartha Reddy Jonnalagadda, Shirin Nilizadeh

专题命中 越狱攻击 ：prompt injection(abstract)

AI总结 提出一种联合验证用户提示意图和模型响应危害的防御框架，通过专门分析器与裁决器协同工作，在五个威胁类别上平均F1提升至0.95，攻击成功率降至4.1%。

Agent-Assisted Side-Channel Attacks on Non-Prefix KV Cache in RAG

代理辅助的非前缀KV缓存侧信道攻击

He Sun, Shinan Liu, Siyuan Ma, Junhao Li, Mingjun Xiao, Wenhao Jiang

专题命中 越狱攻击 ：alignment(abstract)

AI总结 针对RAG系统中非前缀KV缓存融合的侧信道漏洞，提出SpliceLeak攻击，利用“阶梯波”时序特征提取私有提示长度和语义内容，并设计SpliceDefense防御机制。

Comments 15 pages, 8 figures

Position: Preventing AI-Generated CSAM Necessitates New Approaches to AI Safety

立场：防止人工智能生成的儿童性虐待材料需要新的人工智能安全方法

Neil Kale, Rebecca Portnoff, Pratiksha Thaker, Michael Simpson, Robertson Wang, Kevin Kuo, Chhavi Yadav, Virginia Smith

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Thorn 纠错

专题命中 红队测试 ：safety(title,abstract)；AI safety(title,abstract)；red teaming(abstract)；分类 cs.AI、cs.CY

AI总结 研究人工智能给儿童安全带来的新风险，指出保护儿童免受其助长的性虐待需新安全方法。探讨现有技术与相关约束的不兼容及带来的挑战，概述15个开放性问题并给出针对性建议，推动将负责任AI原则转化为儿童保护措施。

Comments Accepted (spotlight) in ICML 2026, Position Paper Track. The first two authors contributed equally and may list their names interchangeably

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

学习攻击与防御：通过GRPO对语言模型进行自适应红队测试

Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

机构 * Microsoft AI Red Team（微软AI红队） ； Microsoft Azure（微软Azure） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；DPO(abstract,abstract_cn)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AdvGRPO框架，通过密集多通道奖励和分离优势归一化实现GRPO在攻击者-防御者联合优化中的稳定训练，产生高效可迁移攻击，防御者优于基线。

Online Safety Monitoring for LLMs

LLMs的在线安全监控

Mona Schirmer, Metod Jazbec, Alexander Timans, Christian Naesseth, Maja Waldron, Eric Nalisnick

专题命中 红队测试 ：safety(title,abstract)；alignment(abstract)；red teaming(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过阈值化外部模型的验证信号并利用风险控制校准阈值，实现LLM输出的实时安全监控，在数学推理和红队测试中与高级方法性能相当。

Comments ICML 2026 Hypothesis Testing Workshop

Institutional Red-Teaming: Deployment Rules, Not Just Models, Causally Shape Multi-Agent AI Safety

机构红队测试：部署规则而非模型，因果性地塑造多智能体人工智能安全

Yujiao Chen

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 红队测试 ：safety(title,abstract)；AI safety(title)；分类 cs.AI

AI总结 研究多智能体人工智能安全中部署规则的影响，提出机构红队测试方法，通过IABench-CA实例化，发现规则改变集体安全、无安全默认规则、身份显著性是机制，还打包成安全案例工作流程认证规则区域并明确风险义务。

Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming

智能体对抗智能体：一种用于自动提示注入红队测试的智能体系统

Yanting Wang, Chenlong Yin, Runpeng Geng, Jinyuan Jia

专题命中 红队测试 ：prompt injection(title,abstract)；red teaming(title)

AI总结 本研究提出PIMiner智能体系统，用于自动提示注入红队测试，该系统构建可迁移策略库，仅需少量查询即可在IPIArena、AgentDojo基准上对多款LLM实现高攻击成功率，解决现有方法泛化性差的问题。

Comments Our code is available at https://github.com/wang-yanting/PIMiner

GPT-Red: Automated Red Teaming via Self-Play at Scale

GPT-Red：基于大规模自博弈的自动化红队测试

Eric Wallace, Christopher A. Choquette-Choo, Nikhil Kandpal, Sam Toyer, Dylan Hunn, Stephanie Lin, Yuxin Wen, Xiangyu Qi, Christopher Wolff, Zizhao Wang, Milad Nasr, Sicheng Zhu, Chuan Guo, Juan Felipe Cerón Uribe, Kaiwen Wang, Aiden Low, Kai Xiao, Kai Chen

专题命中 红队测试 ：red teaming(title)；safety(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出GPT-Red，一种基于大规模自博弈的自动化红队测试智能体，可发现新型提示注入攻击、攻破过往模型且泛化能力强，用于提升LLM鲁棒性并形成自我改进飞轮。

Comments 28 pages.13 main pages and 13 main figures

From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs

从不可听输入到模型失效：LALMs中的低频安全风险

Yuanhe Zhang, Weiliu Wang, Jie Ren, Liang Lin, Zhenhong Zhou, Haoran Gao, Kun Wang, Chen Li, Li Sun, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Nanyang Technological University（南洋理工大学） ； JIUTIAN Research（九天研究院） ； Tencent ARC Lab（腾讯ARC实验室） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 红队测试 ：safety(title,abstract)；red teaming(abstract)；分类 cs.AI

AI总结 本文提出不可听红队测试方法ILL评估LALMs的低频安全风险，发现其可降低LALMs准确率达67个百分点，同时提出DRG防护方法可提升受攻击后的准确率，明确了LALMs此前被忽视的安全风险。

OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution

OpenART：通过开放式环境演化扩展智能体红队演练规模

Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； XSafeAI 纠错

专题命中 红队测试 ：red teaming(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 本研究针对现有智能体安全基准无法捕捉累积风险的问题，推出开放式智能体红队演练平台OpenART，并提出EMHA攻击方法，在75种智能体模型配置上实现85.0%的汇总攻击成功率，为复杂环境下的智能体安全研究提供可扩展基础。

Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming

保护AI代理：多层代理红队测试的统一框架

Yong Yang, Xing Zheng, Huiyu Wu, Huangsheng Cheng, Xiaorong Shi, Jing Guo, Bo Yang, Yi Zhou, Xiangfan Wu, Zonghao Ying

专题命中 红队测试 ：red teaming(title,abstract)；jailbreak(abstract)

AI总结 提出AI-Infra-Guard框架，通过分层攻击面（基础设施、协议/工具、代理行为、模型）匹配不同检测范式，覆盖75+组件和1400+漏洞规则，实现代理安全红队测试。

Governing Execution Risk in Agentic AI Systems: A Trajectory-Guided Framework for Red Teaming

管控智能体AI系统的执行风险：一种基于轨迹的红队测试框架

Zhihao Zhu, Yi Yang

专题命中 红队测试 ：red teaming(title,abstract)；分类 cs.AI、cs.CY

AI总结 本研究提出基于轨迹的红队测试框架TrajRed和运行时管控层TrajGuard，在AgentDojo实验中，TrajRed识别的漏洞更强，TrajGuard可将攻击成功率降至近零且保留任务效用。

REDAgentBench: Executable Red Teaming and Faithful Measurement of LLM Agent Systems

REDAgentBench：可执行的红队测试与LLM智能体系统的忠实测量

Zixing Chen, Xingyuan Liu, Jie Zhu, Huaixia Dou, Shuo Jiang, Junhui Li, Lifan Guo, Feng Chen, Chi Zhang

专题命中 红队测试 ：red teaming(title)；safety(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体安全评估的缺陷，推出REDAgentBench框架，经实验发现其宏平均ASR为65.69%，还揭示了识别-执行差距，无训练策略提醒可减少70%以上违规

Comments 6 figures, 4 tables. Supplementary material included

Code Monitor Red Teaming for Public-Test-Passing Code

用于通过公开测试的代码的代码监控红队

Junchi Liao, Jiawen Deng, Fuji Ren

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；分类 cs.AI

AI总结 研究公开测试通过后代码隐藏错误监控问题，引入代码监控红队协议并实例化为代码监控基准。通过大量实验发现弱验证器虽能改进但仍易漏错，对抗性压力影响验证效果，GLM - 5.1验证器缩小部分差距，揭示了验证器故障与证据限制的问题。

NRT-Bench: Benchmarking Multi-Turn Red-Teaming of LLM Operator Agents in Safety-Critical Control Rooms

LLM智能体安全性、多轮红队测试、越狱基准、对抗鲁棒性、安全关键系统

Hanwool Lee, Dasol Choi, Bokyeong Kim, Haon Park, Seung Geun Kim

机构 * AIM Intelligence（AIM智能公司） ； KAERI（韩国原子能研究所） 纠错

专题命中 红队测试 ：safety(title,abstract)；分类 cs.AI

AI总结 提出NRT-Bench基准，通过模拟核电站控制室的多轮红队测试，评估LLM智能体在安全关键系统中的对抗鲁棒性，发现不同模型的漏洞几乎不重叠，且防御效果高度依赖模型。

From Battlefield to Boardroom: Strategic Red Teaming as an Epistemic Governance Instrument in the Age of AI

从战场到董事会：战略红队作为人工智能时代的知识治理工具

Jeroen Janssen

专题命中 红队测试 ：red teaming(title,abstract)；分类 cs.CY

AI总结 提出战略红队作为董事会层级的治理工具，通过六组件模型测试AI战略假设，将不确定性转化为可审查对象。

Comments 7 pages, technical report; arXiv edition of Apparens working paper

A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems

大语言模型漏洞的生命周期与应用栈调查：攻击、风险、防御与开放问题

Seyed Bagher Hashemi Natanzi, Bo Tang

机构 * Worcester Polytechnic Institute（伍斯特理工学院） 纠错

专题命中 红队测试 ：alignment(abstract)；safety(abstract)；red teaming(abstract)；分类 cs.AI

AI总结 本文通过生命周期与应用栈视角系统化梳理大语言模型系统的漏洞，涵盖数据收集、预训练、对齐、供应链、检索、推理、工具执行和部署等阶段，分析攻击、风险与防御，并提出安全研究议程。

Can Data Work be Reparative?

数据工作能否具有修复性？

Srravya Chandhiramowuli, Ding Wang, Alex Taylor

机构 * University of Edinburgh（爱丁堡大学） ； Google Research（谷歌研究院） 纠错

专题命中 红队测试 ：safety(abstract)；red teaming(abstract)；分类 cs.AI、cs.CY

AI总结 通过民族志研究，探讨公民科技倡议如何从女性主义视角协作构建安全数据集，旨在将数据工作重塑为修复与补救的场所，并分析其中遇到的挑战与张力。

Comments To be presented at ACM FAccT, Montréal, Canada, June 25 to June 28, 2026

Breaking Customized LLMs for Coding: Automated Red Teaming for Instruction Backdoor Attacks

针对代码任务定制化大语言模型的突破：针对指令后门攻击的自动红队测试

Yuchen Chen, Wei Cheng, Yuan Xiao, Wising Sun, Chunrong Fang, Yang Liu, Zhenyu Chen, Baowen Xu

专题命中 红队测试 ：red teaming(title)

AI总结 本文提出ARIA自动红队测试框架，可高效生成针对代码定制化LLM的隐蔽带后门指令，攻击成功率达0.945且规避检测能力强，性能优于现有基线攻击。

Comments Accepted to the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026