arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2026-04-22 至 2026-04-22 共收录 4 信号源:cs.CL, cs.AI, cs.CY, cs.LG

1. 红队测试 4 篇

2604.18658 2026-04-22 cs.CR cs.AI cs.CL 84%

Owner-Harm: A Missing Threat Model for AI Agent Safety

所有权危害:AI代理安全的缺失威胁模型

Dongcheng Zhang, Yiqing Jiang

机构 * BlueFocus Communication Group(蓝ocus通信集团) Tongji University(同济大学)

专题命中 红队测试 :safety(title,abstract);alignment(abstract);分类 cs.CL、cs.AI

AI总结 本文提出Owner-Harm威胁模型,旨在解决AI代理对部署者造成伤害的问题,通过实验验证了现有防御体系的不足,并引入SSDG框架提升检测效果。

Comments 15 pages. Companion manuscript on per-decision proof-obligation synthesis (LSVJ-S) in preparation

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18976 2026-04-22 cs.CL 83%

STAR-Teaming: A Strategy-Response Multiplex Network Approach to Automated LLM Red Teaming

STAR-Teaming:一种基于策略-响应多plex网络的自动化LLM红队方法

MinJae Jung, YongTaek Lim, Chaeyun Kim, Junghwan Kim, Kihyun Kim, Minwoo Kim

机构 * DATUMO INC(DATUMO公司)

专题命中 红队测试 :red teaming(title,abstract);jailbreak(abstract);分类 cs.CL

AI总结 本文提出STAR-Teaming,一种基于多plex网络的自动化红队方法,通过网络驱动优化生成有效攻击策略,提升LLM策略漏洞的可解释性并降低计算成本。

Comments Accepted at ACL 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18789 2026-04-22 cs.AI cs.CR cs.LG 82%

ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System

ARES: 自适应红队测试与端到端策略-奖励系统修复

Jiacheng Liang, Yao Ma, Tharindu Kumarage, Satyapriya Krishna, Rahul Gupta, Kai-Wei Chang, Aram Galstyan, Charith Peris

机构 * Amazon Nova Responsible AI(亚马逊Nova责任AI)

专题命中 红队测试 :RLHF(abstract,abstract_cn);alignment(abstract);safety(abstract);分类 cs.AI、cs.LG

AI总结 ARES通过自适应红队测试和端到端修复方法,系统发现并缓解策略-奖励系统双重漏洞,提升安全鲁棒性。

Comments 9 pages, ACL 2026 Main

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.20981 2026-04-22 cs.NE q-bio.PE 50%

Diversifying Toxicity Search in Large Language Models Through Speciation

通过种群化扩大大型语言模型毒性搜索

Onkar Shelar, Travis Desell

专题命中 红队测试 :red teaming(abstract)

AI总结 本文提出ToxSearch-S,通过种群化方法在大型语言模型中扩展毒性搜索,提高毒性峰值并扩大语义覆盖范围,同时在嵌入空间中形成行为差异化的niche。

Comments Preprint. 4 pages, Accepted at GECCO as short paper

详情

展开后加载摘要…

URL PDF HTML 收藏