大模型对齐与安全

MT-JailBench: A Modular Benchmark for Understanding Multi-Turn Jailbreak Attacks

MT-JailBench: 一个多模块的多轮 jailbreak 攻击评估基准

Xinkai Zhang, Zhipeng Wei, Huanli Gong, Jing Ting Zheng, Yuchen Zhang, Yue Dong, N. Benjamin Erichson

机构 * International Computer Science Institute（国际计算机科学研究所） ； Berkeley Lab（伯克利实验室） 纠错

专题命中 越狱攻击 ：jailbreak(title,title_cn)；分类 cs.AI

AI总结 本文提出 MT-JailBench，一个用于评估多轮 jailbreak 攻击的模块化框架，揭示了资源预算和评估函数对攻击效果的影响，发现提示生成是性能变化的主要因素，而动态策略生成并非必要。

RACC: Representation-Aware Coverage Criteria for LLM Safety Testing

RACC：面向LLM安全测试的表示感知覆盖标准

Zeming Wei, Zhixin Zhang, Chengcan Wu, Yihao Zhang, Xiaokun Luan, Meng Sun

机构 * Peking University（北京大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出RACC，一种专为LLM安全测试设计的覆盖标准，通过提取安全表示并评估测试提示的激活情况，有效提升测试套件质量，同时对冗余输入不敏感，适用于大规模神经网络的安全测试。

Accelerating Suffix Jailbreak attacks with Prefix-Shared KV-cache

通过前缀共享KV缓存加速后缀劫持攻击

Xinhai Wang, Shaopeng Fu, Shu Yang, Liangyu Wang, Tianhang Zheng, Di Wang

机构 * King Abdullah University of Science and Technology（卡塔尔国王阿卜杜勒阿齐兹大学） ； Zhejiang University（浙江大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.AI

AI总结 本文提出PSKV技术，通过共享前缀KV缓存减少后缀劫持攻击的计算开销，实验表明在五种广泛部署的LLM上，PSKV将推理时间减少40%，峰值内存使用减少50%。

Comments 27 pages, 7 figures, preprint

The Authorization-Execution Gap Is a Major Safety and Security Problem in Open-World Agents

授权-执行间隙是开放世界智能体中的主要安全和安全问题

Baoyuan Wu, Qingshan Liu, Adel Bibi, Irwin King, Siwei Lyu

机构 * Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； Nanjing University of Posts and Telecommunications, China（南京邮电大学） ； University of Oxford, UK（牛津大学） ； Chinese University of Hong Kong, China（香港中文大学） ； State University of New York at Buffalo, USA（纽约州立大学布法罗分校） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.AI

AI总结 本文指出开放世界智能体中授权-执行间隙（AEG）是安全和安全的关键问题，其源于授权意图与实际执行的差异，需通过源导向的诊断和防御来解决，强调执行中需进行授权完整性检查。

Targeted Neuron Modulation via Contrastive Pair Search

通过对比对偶搜索进行定向神经元调节

Sam Herring, Jake Naviasky, Karan Malhotra

机构 * Nous Research（Nous研究） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；alignment(abstract)；分类 cs.LG

AI总结 研究通过对比神经元属性识别有害与良性提示的区分神经元，实现无梯度的神经元干预，有效降低拒绝率并保持输出流畅性，展示了神经层面干预在行为引导中的优势。

Metaphor Is Not All Attention Needs

隐喻并非注意力所需全部

Olga Sorokoletova, Francesco Giarrusso, Giacomo De Luca, Piercosma Bisconti, Matteo Prandi, Federico Pierucci, Marcello Galisai, Vincenzo Suriani, Daniele Nardi

机构 * Sapienza University of Rome Department of Computer, Control and Management Engineering（罗马大学Sapienza计算机、控制与管理工程系） ； DEXAI – Icaro Lab（DEXAI – Icaro实验室） ； University of Rome Tor Vergata（罗马大学Tor Vergata） ； Sant’Anna School of Advanced Studies（Sant’Anna高级研究学校） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.CY

AI总结 本文研究文学式绕过策略为何有效，发现其效果源于风格不规则性而非对文学格式的识别失败，表明安全机制需考虑风格变化对模型行为的影响。

Can a Single Message Paralyze the AI Infrastructure? The Rise of AbO-DDoS Attacks through Targeted Mobius Injection

单条消息能否瘫痪AI基础设施？通过针对性Mobius注入的AbO-DDoS攻击崛起

Zi Liang, Ronghua Li, Yanyun Wang, Qingqing Ye, Haibo Hu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； HKUST (GZ)（香港科技大学（广州）） 纠错

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示了通过Mobius注入攻击利用代理逻辑中的语义闭合漏洞，实现对AI基础设施的隐蔽攻击，展示了攻击的轻量、隐蔽性和高配置性，并提出基于组件能量分析的防御机制。

Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation

基于身份的对抗提示：多身份红队测试用于对抗发现与缓解

Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

机构 * IBM Research（IBM研究院） ； Trinity College Dublin（都柏林大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出PCAP方法，通过多身份对抗搜索发现真实攻击场景，提升模型鲁棒性，生成多样化防御数据集。

Red-Teaming Text-to-Image Models via In-Context Experience Replay and Semantic-Preserving Prompt Rewriting

通过上下文经验回放和语义保留提示重写对文本到图像模型进行红队测试

Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

机构 * CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全中心） ； IBM Research（IBM 研究院） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出ICER框架，通过提示重写和上下文经验回放生成流畅的对抗性提示，有效提升图像生成模型的安全性测试能力，实验表明其在多个安全机制上优于现有方法。

Comments The source code is available at https://github.com/zhiyichin/ICER

Behavioral Integrity Verification for AI Agent Skills

AI代理技能的行为完整性验证

Yuhao Wu, Tung-Ling Li, Hongliang Liu

机构 * Palo Alto Networks（帕洛阿尔托网络） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文提出行为完整性验证(BIV)方法，通过类型集比较验证AI代理技能声明与实际能力的一致性，发现80%的技能存在描述与实现差距，并在恶意技能检测中取得高F1值。

FragBench: Cross-Session Attacks Hidden in Benign-Looking Fragments

FragBench：隐藏在看似无害片段中的跨会话攻击

Astha Mehta, Niruthiha Selvanayagam, Cedric Lam, Hengxu Li, Phuc-Nguyen Nguyen, Raymond Lee, Olivia McGoffin, My, Luong, Arthur Collé, Jamie Johnson, David Williams-King, Linh Le

机构 * New York University（纽约大学） ； Tufts University（塔夫茨大学） ； Distributed Systems（分布式系统） ； ERA（欧洲研究联盟） ； Lida Safety（Lida安全） ； Mila 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 FragBench通过24个真实网络攻击案例构建，评估LLM跨会话攻击检测，采用对抗重写和图基检测方法，实现事件级F1分数达0.88-0.96。

Comments preprint of submission

FlowSteer: Prompt-Only Workflow Steering Exposes Planning-Time Vulnerabilities in Multi-Agent LLM Systems

FlowSteer：仅凭提示的流程引导揭示多智能体LLM系统的规划时间漏洞

Fanxiao Li, Jiaying Wu, Tingchao Fu, Natasha Jaques, Wei Zhou, Min-Yen Kan

专题命中 越狱攻击 ：safety(abstract)

AI总结 研究通过社会影响探测工作流识别高影响子任务，揭示恶意信号传播漏洞，提出FlowSteer攻击方法提升恶意成功率，并引入FlowGuard防御机制降低攻击效果。