大模型对齐与安全

Model-Agnostic Lifelong LLM Safety via Externalized Attack-Defense Co-Evolution

基于外部化攻击-防御共演的模型无关持续LLM安全

Xiaozhe Zhang, Chaozhuo Li, Hui Liu, Shaocheng Yan, Bingyu Yan, Qiwei Ye, Haoliang Li

机构 * City University of Hong Kong（香港城市大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Wuhan University（武汉大学） ； Beihang University（北京航空航天大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；red teaming(abstract)；分类 cs.CL

AI总结 本文提出EvoSafety框架，通过外部结构实现持续安全改进，采用对抗技能库和轻量防御模型，在单一训练中实现攻击探测与防御提升，实验显示其在Guard模式下防御成功率高达99.61%。

Comments 48 pages, 7 figures

Quantifying LLM Safety Degradation Under Repeated Attacks Using Survival Analysis

利用生存分析量化LLM在反复攻击下的安全退化

Zvi Topol

机构 * MuyVentive, LLC（MuyVentive公司） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出利用生存分析评估LLM在持续对抗压力下的安全退化，揭示不同模型在多次攻击下的脆弱性差异，为模型开发者提供评估方法。

DiffusionHijack: Supply-Chain PRNG Backdoor Attack on Diffusion Models and Quantum Random Number Defense

DiffusionHijack: 供应链PRNG后门攻击针对扩散模型和量子随机数防御

Ziyang You, Liling Zheng, Xiaoke Yang, Xuxing Lu

机构 * School of Electronics, Electrical Engineering and Physics, Fujian University of Technology（福建工程学院电子工程与物理学院） ； School of Humanities, Fujian University of Technology（福建工程学院人文学院） ； Institute of Applied Physics and Materials Engineering, University of Macau（澳门大学应用物理与材料工程学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG

AI总结 研究提出DiffusionHijack攻击通过供应链注入恶意PRNG控制扩散模型生成图像，采用量子随机数生成器有效防御该攻击，降低输出相似度至随机基线水平。

Comments This work has been submitted to the IEEE for possible publication

No Attack Required: Semantic Fuzzing for Specification Violations in Agent Skills

无需攻击：用于代理技能规范违规的语义模糊测试

Ying Li, Hongbo Wen, Yanju Chen, Hanzhi Liu, Yuan Tian, Yu Feng

机构 * University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文提出Sefz框架，通过语义模糊测试发现代理技能中的规范违规问题，揭示了安全规则漏洞对用户信任的影响。

SoK: Exposing the Generation and Detection Gaps in LLM-Generated Phishing

SoK：揭示大语言模型生成钓鱼攻击的生成与检测差距

Fengchao Chen, Tingmin Wu, Van Nguyen, Carsten Rudolph

专题命中 越狱攻击 ：safety(abstract)

AI总结 本文首次全面分析大语言模型生成的钓鱼内容，揭示其逃避检测、强调人类认知操控的特点，并指出防御策略与生成方法间的不对称性。

Persona-Conditioned Adversarial Prompting (PCAP): Multi-Identity Red-Teaming for Enhanced Adversarial Prompt Discovery

基于身份的对抗提示生成（PCAP）：多身份红队测试以提升对抗提示发现

Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

专题命中 越狱攻击 ：jailbreak(abstract_cn)

AI总结 PCAP通过结合攻击者身份和策略卡进行对抗搜索，提高攻击成功率和提示多样性，增强对抗策略覆盖范围。