大模型对齐与安全

OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution

OpenART：通过开放式环境演化扩展智能体红队演练规模

Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； XSafeAI 纠错

专题命中 红队测试 ：red teaming(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 本研究针对现有智能体安全基准无法捕捉累积风险的问题，推出开放式智能体红队演练平台OpenART，并提出EMHA攻击方法，在75种智能体模型配置上实现85.0%的汇总攻击成功率，为复杂环境下的智能体安全研究提供可扩展基础。

OTora: A Unified Red Teaming Framework for Reasoning-Level Denial-of-Service in LLM Agents

OTora：一种用于LLM代理推理层面拒绝服务攻击的统一红队框架

Xinyu Li, Ronghui Mu, Lin Li, Tianjin Huang, Gaojie Jin

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） ； Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系） 纠错

专题命中 红队测试 ：red teaming(title)；分类 cs.LG

AI总结 OTora是首个统一的两阶段红队框架，用于实现推理层面拒绝服务攻击，通过优化对抗触发器和生成代理感知的推理负载，提升推理token数量和延迟，同时保持任务准确性。

Comments Accepted to ICML 2026

Quality-Diversity Red-Teaming: Automated Generation of High-Quality and Diverse Attackers for Large Language Models

质量-多样性红队测试：针对大语言模型的高质量多样化攻击者自动生成

Ren-Jian Wang, Ke Xue, Zeyu Qin, Ziniu Li, Sheng Tang, Hao-Tian Li, Shengcai Liu, Zhi Yu, Yuanpeng Tan, Chao Qian

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） ； School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港大学深圳校区） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出QDRT框架，通过训练多专用攻击者生成高质量多样化攻击，提升LLM安全评估的多样性与有效性，支持LLM负责任部署。