大模型对齐与安全

A Red Teaming Framework for Large Language Models: A Case Study on Faithfulness Evaluation

大型语言模型的红队框架：以忠实性评估为例

Abrar Alotaibi, Raed Mughus, Moataz Ahmed

机构 * King Fahd University of Petroleum & Minerals（法赫德国王石油矿产大学） ； Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence（沙特数据与人工智能局-法赫德国王石油矿产大学人工智能联合研究中心） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种多角色红队框架，通过攻击者和陪审模型暴露LLM的不忠实问题，在问答任务中攻击成功率提升7.9%，并揭示结构约束和架构设计对安全性的影响。

Comments Preprint submitted to SQJ

OTora: A Unified Red Teaming Framework for Reasoning-Level Denial-of-Service in LLM Agents

OTora：一种用于LLM代理推理层面拒绝服务攻击的统一红队框架

Xinyu Li, Ronghui Mu, Lin Li, Tianjin Huang, Gaojie Jin

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） ； Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系） 纠错

专题命中 红队测试 ：red teaming(title)；分类 cs.LG

AI总结 OTora是首个统一的两阶段红队框架，用于实现推理层面拒绝服务攻击，通过优化对抗触发器和生成代理感知的推理负载，提升推理token数量和延迟，同时保持任务准确性。

Comments Accepted to ICML 2026

RedCoder: Automated Multi-Turn Red Teaming for Code LLMs

RedCoder: 面向代码大语言模型的自动化多轮红队测试

Wenjie Jacky Mo, Qin Liu, Xiaofei Wen, Dongwon Jung, Hadi Askari, Wenxuan Zhou, Zhe Zhao, Muhao Chen

机构 * University of California, Davis（加州大学戴维斯分校） ； University of Southern California（南加州大学） 纠错

专题命中 红队测试 ：red teaming(title)；分类 cs.AI

AI总结 提出RedCoder，一个通过多轮对话诱导代码大模型生成漏洞代码的自动化红队测试智能体，采用多智能体博弈生成原型对话和攻击策略库，并微调LLM作为骨干，实验表明其优于现有单轮和多轮方法。

Comments ACL 2026

What AI Red-Team Evaluations Can and Cannot Prove

人工智能红队评估能证明什么以及不能证明什么

Bandana Kaur

机构 * APIsec Research Labs（APIsec研究实验室） 纠错

专题命中 红队测试 ：safety(abstract)；red teaming(abstract)；分类 cs.AI

AI总结 研究人工智能红队评估能证与不能证之事，通过定义证据上限确定界限，发现高于某危害率基准可证类别，低于则否，该界限不限于基准，审核评估套件发现当前基准对高频危害足够，对罕见灾难性不足。

Comments 21 pages, 4 figures, 5 tables. Code and data links provided in the manuscript. v2: corrected Figure 1(b); corrected required sample sizes in Table 4 and in Sections 4.2, 4.6 and 5.2, which had been rounded rather than taken to the ceiling; corrected the sample-size expression stated in Methods; minor corrections to Table 1 and the Figure 2 caption. No theorem, result or conclusion is affected

Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non-Consensual Intimate Imagery (AIG-NCII)

立场：人工智能/机器学习领域对深度伪造的研究与人工智能生成的非自愿亲密图像（AIG-NCII）不一致

Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert

专题命中 红队测试 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 研究指出人工智能/机器学习领域对深度伪造的研究与AIG-NCII不一致，现有技术干预忽略AIG-NCII，现有干预只关注观众认知危害，忽略主体尊严危害，建议更新威胁模型，在安全研究中解决AIG-NCII，同时警告研究人员涉足该领域需谨慎并做好防护。

Comments ICML 2026. Outstanding position paper honorable mention

Quality-Diversity Red-Teaming: Automated Generation of High-Quality and Diverse Attackers for Large Language Models

质量-多样性红队测试：针对大语言模型的高质量多样化攻击者自动生成

Ren-Jian Wang, Ke Xue, Zeyu Qin, Ziniu Li, Sheng Tang, Hao-Tian Li, Shengcai Liu, Zhi Yu, Yuanpeng Tan, Chao Qian

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） ； School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港大学深圳校区） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出QDRT框架，通过训练多专用攻击者生成高质量多样化攻击，提升LLM安全评估的多样性与有效性，支持LLM负责任部署。

Secure human oversight of AI: Threat modeling in a socio-technical context

安全的人工智能人类监督：社会技术背景下的威胁建模

Jonas C. Ditz, Veronika Lazar, Elmar Lichtmeß, Carola Plesch, Matthias Heck, Kevin Baum, Markus Langer

专题命中 红队测试 ：safety(abstract)；分类 cs.CY

AI总结 本文从安全角度提出人工智能人类监督的威胁建模方法，系统分析其安全风险并提出缓解策略，以保障AI系统的监督过程安全可靠。

Tailored untruths: How personalisation challenges LLM safeguards

量身定制的虚假信息：个性化如何挑战大语言模型的安全防护

João A. Leite, João Luz, Silvia Gargova, Arnav Arora, Gustavo Sampaio, Ian Roberts, Carolina Scarton, Kalina Bontcheva

机构 * University of Sheffield（谢菲尔德大学） ； University of Copenhagen（哥本哈根大学） ； Big Data for Smart Society Institute (GATE)（大数据智能社会研究所（GATE）） ； University of São Paulo（圣保罗大学） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.CL

AI总结 研究LLMs针对特定角色生成虚假信息的情况，采用红队测试方法创建数据集，发现安全防护在多数情况下失效，各模型能有效定制输出，还揭示了特定语言和心理模式及安全防护有效性差异，凸显加强多语言安全防护的必要。

Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance

Stable-GFlowNet: 通过对比轨迹平衡实现多样且鲁棒的LLM红队测试

Minchan Kwon, Sunghyun Baek, Minseo Kim, Jaemyung Yu, Dongyoon Han, Junmo Kim

机构 * Naver AI Lab（Naver AI实验室） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.LG

AI总结 针对大语言模型红队测试中有效性与多样性难以兼顾的问题，提出Stable-GFlowNet方法，通过消除配分函数估计和对比轨迹平衡实现稳定训练，在保持最优策略的同时提升攻击性能与多样性。

Comments ICML 2026 Spotlight