大模型对齐与安全

Safety at Scale: A Comprehensive Survey of Large Model and Agent Safety

大规模安全：大型模型和智能体安全的全面综述

Xingjun Ma, Yifeng Gao, Yixu Wang, Ruofan Wang, Xin Wang, Ye Sun, Yifan Ding, Hengyuan Xu, Yunhao Chen, Yunhan Zhao, Hanxun Huang, Yige Li, Yutao Wu, Jiaming Zhang, Xiang Zheng, Yang Bai, Zuxuan Wu, Xipeng Qiu, Jingfeng Zhang, Yiming Li, Xudong Han, Haonan Li, Jun Sun, Cong Wang, Jindong Gu, Baoyuan Wu, Siheng Chen, Tianwei Zhang, Yang Liu, Mingming Gong, Tongliang Liu, Shirui Pan, Cihang Xie, Tianyu Pang, Yinpeng Dong, Ruoxi Jia, Yang Zhang, Shiqing Ma, Xiangyu Zhang, Neil Gong, Chaowei Xiao, Sarah Erfani, Tim Baldwin, Bo Li, Masashi Sugiyama, Dacheng Tao, James Bailey, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； The University of Melbourne（墨尔本大学） ； Singapore Management University（新加坡国立大学） ； Deakin University（德肯大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； City University of Hong Kong（香港城市大学） ； University of Oxford（牛津大学） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； The University of Sydney（悉尼大学） ； Griffith University（格里菲斯大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Sea AI Lab（Sea AI实验室） ； Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全部） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Purdue University（普渡大学） ； Duke University（杜克大学） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） ； RIKEN（理化学研究所） ； The University of Tokyo（东京大学） 纠错

专题命中 提示注入 ：safety(title,abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了大型模型和智能体的安全性，分析了各类攻击威胁及防御策略，指出安全评估、防御机制和数据实践的重要性，强调研究社区和国际合作的必要性。

Comments 706 papers, 60 pages, 3 figures, 14 tables; GitHub: https://github.com/xingjunm/Awesome-Large-Model-Safety

DeepSeek Robustness Against Semantic-Character Dual-Space Mutated Prompt Injection

DeepSeek 对语义-字符双空间变异提示注入的鲁棒性

Junyu Ren, Xingjian Pan, Wensheng Gan, Philip S. Yu

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本文提出PromptFuzz-SC框架，通过结合语义变换和字符级混淆，评估LLM对提示注入的鲁棒性，实验显示双空间变异在攻击性能上表现最佳，提升了攻击成功率和隐蔽性。

Comments Preprint

WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents

WebAgentGuard: 一种基于推理的守护模型，用于检测Web代理中的提示注入攻击

Yulin Chen, Tri Cao, Haoran Li, Yue Liu, Yibo Li, Yufei He, Le Minh Khoi, Yangqiu Song, Shuicheng Yan, Bryan Hooi

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本文提出WebAgentGuard，一种基于推理的多模态守护模型，用于检测Web代理中的提示注入攻击。通过构建合成多模态数据集并采用推理密集型监督微调和强化学习，模型在多个基准测试中优于现有方法，同时保持代理的实用性，不引入额外延迟。