University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

Safety at Scale: A Comprehensive Survey of Large Model and Agent Safety

大规模安全：大型模型和智能体安全的全面综述

Xingjun Ma, Yifeng Gao, Yixu Wang, Ruofan Wang, Xin Wang, Ye Sun, Yifan Ding, Hengyuan Xu, Yunhao Chen, Yunhan Zhao, Hanxun Huang, Yige Li, Yutao Wu, Jiaming Zhang, Xiang Zheng, Yang Bai, Zuxuan Wu, Xipeng Qiu, Jingfeng Zhang, Yiming Li, Xudong Han, Haonan Li, Jun Sun, Cong Wang, Jindong Gu, Baoyuan Wu, Siheng Chen, Tianwei Zhang, Yang Liu, Mingming Gong, Tongliang Liu, Shirui Pan, Cihang Xie, Tianyu Pang, Yinpeng Dong, Ruoxi Jia, Yang Zhang, Shiqing Ma, Xiangyu Zhang, Neil Gong, Chaowei Xiao, Sarah Erfani, Tim Baldwin, Bo Li, Masashi Sugiyama, Dacheng Tao, James Bailey, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； The University of Melbourne（墨尔本大学） ； Singapore Management University（新加坡国立大学） ； Deakin University（德肯大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； City University of Hong Kong（香港城市大学） ； University of Oxford（牛津大学） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； The University of Sydney（悉尼大学） ； Griffith University（格里菲斯大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Sea AI Lab（Sea AI实验室） ； Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全部） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Purdue University（普渡大学） ； Duke University（杜克大学） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） ； RIKEN（理化学研究所） ； The University of Tokyo（东京大学） 纠错

AI总结 本文综述了大型模型和智能体的安全性，分析了各类攻击威胁及防御策略，指出安全评估、防御机制和数据实践的重要性，强调研究社区和国际合作的必要性。

Comments 706 papers, 60 pages, 3 figures, 14 tables; GitHub: https://github.com/xingjunm/Awesome-Large-Model-Safety

The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break

长远任务的幻觉？诊断代理系统何时及为何失效

Xinyu Jessica Wang, Haoyue Bai, Yiyou Sun, Haorui Wang, Shuibai Zhang, Wenjie Hu, Mya Schroder, Bilge Mutlu, Dawn Song, Robert D Nowak

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of California, Berkeley（加州大学伯克利分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

AI总结 本文通过HORIZON基准测试分析LLM代理在长周期任务中的失效模式，提出轨迹驱动的评估方法，并通过人类标注验证其有效性，为构建更可靠的代理系统提供指导。