大模型对齐与安全

AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models

AutoAdv：面向大语言模型多轮对抗性提示的自动化 jailbreaking

Aashray Reddy, Andrew Zagula, Nicholas Saban

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 AutoAdv通过多轮自适应机制实现高成功率的对抗性提示攻击，揭示当前安全机制在多轮对话中的脆弱性。

Comments Presented at NeurIPS 2025 Lock-LLM Workshop. Code is available at https://github.com/AAN-AutoAdv/AutoAdv

VRSA: Jailbreaking Multimodal Large Language Models through Visual Reasoning Sequential Attack

通过视觉推理序列攻击对多模态大语言模型进行劫持

Shiji Zhao, Shukun Xiong, Yao Huang, Yan Jin, Zhenyu Wu, Jiyang Guan, Ranjie Duan, Jialing Tao, Hui Xue, Xingxing Wei

机构 * Alibaba Group（阿里巴巴集团） ； Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)

AI总结 VRSA通过视觉推理序列攻击方法，针对多模态大语言模型的视觉模态进行劫持，提升攻击成功率。

In-Context Representation Hijacking

上下文表示劫持

Itay Yona, Amir Sarid, Michael Karasik, Yossi Gandelsman

机构 * Mentaleap ； Independent Researcher（独立研究者） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Doublespeak通过替换有害关键词为无害标记，使模型内部表示收敛至有害语义，从而绕过安全对齐。

Why does weak-OOD help? A Further Step Towards Understanding Jailbreaking VLMs

Yuxuan Zhou, Yuzhao Peng, Yang Bai, Kuofeng Gao, Yihao Zhang, Yechao Zhang, Xun Chen, Tao Yu, Tao Dai, Shu-Tao Xia

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)

Jailbreaking in the Haystack

Rishi Rajesh Shah, Chen Henry Wu, Shashwat Saxena, Ziqian Zhong, Alexander Robey, Aditi Raghunathan

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

LatentBreak: Jailbreaking Large Language Models through Latent Space Feedback

Raffaele Mura, Giorgio Piras, Kamilė Lukošiūtė, Maura Pintor, Amin Karbasi, Battista Biggio

机构 * University of Cagliari（卡利亚里大学） ； Centre for AI Governance（人工智能治理中心） ； Foundation AI – Cisco Systems Inc.（AI基金会——思科系统公司） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

Beyond Text: Multimodal Jailbreaking of Vision-Language and Audio Models through Perceptually Simple Transformations

Divyanshu Kumar, Shreyas Jena, Nitin Aravind Birur, Tanay Baswa, Sahil Agarwal, Prashanth Harshangi

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；AI safety(abstract)

JaiLIP: Jailbreaking Vision-Language Models via Loss Guided Image Perturbation

Md Jueal Mia, M. Hadi Amini

机构 * Knight Foundation School of Computing and Information Sciences (KFSCIS)（骑士基金会计算与信息科学学院） ； Florida International University（佛罗里达国际大学） ； Sustainability, Optimization, and Learning for InterDependent networks laboratory (solid lab)（可持续性、优化与互依赖网络学习实验室） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)

Machine Learning for Detection and Analysis of Novel LLM Jailbreaks

John Hawkins, Aditya Pramar, Rodney Beard, Rohitash Chandra

机构 * Centre for Artificial Intelligence and Innovation（人工智能与创新中心） ； Pingla Institute（平拉研究所） ； Transitional Artificial Intelligence Research Group（过渡人工智能研究组） ； UNSW（新南威尔士大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.CY

MEUV: Achieving Fine-Grained Capability Activation in Large Language Models via Mutually Exclusive Unlock Vectors

Xin Tong, Zhi Lin, Jingya Wang, Meng Han, Bo Jin

机构 * Xin Tong School of Information and Cyber Security People’s Public Security University of China（信息与网络安全学院 中国人民公安大学） ； Zhi Lin School of Safety Science Tsinghua University（安全科学学院 清华大学） ； Jingya Wang School of Information and Cyber Security People’s Public Security University of China（信息与网络安全学院 中国人民公安大学） ； Meng Han Intelligent Fusion Research Center Zhejiang University（智能融合研究中心 浙江大学） ； Bo Jin* The Third Research Institute of the Ministry of Public Security of China（中华人民共和国公安部第三研究所） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Under Review

Towards Action Hijacking of Large Language Model-based Agent

Yuyang Zhang, Kangjie Chen, Jiaxin Gao, Ronghao Cui, Run Wang, Lina Wang, Tianwei Zhang

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；prompt injection(abstract)

Adversarial Tokenization

Renato Lui Geh, Zilei Shao, Guy Van den Broeck

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics, ACL 2025

Playing the Fool: Jailbreaking LLMs and Multimodal LLMs with Out-of-Distribution Strategy

Joonhyun Jeong, Seyun Bae, Yeonsung Jung, Jaeryong Hwang, Eunho Yang

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)

Comments Accepted at CVPR2025

Exploring Visual Vulnerabilities via Multi-Loss Adversarial Search for Jailbreaking Vision-Language Models

Shuyang Hao, Bryan Hooi, Jun Liu, Kai-Wei Chang, Zi Huang, Yujun Cai

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)

Jailbreaking Large Language Models with Symbolic Mathematics

Emet Bethany, Mazal Bethany, Juan Arturo Nolazco Flores, Sumit Kumar Jha, Peyman Najafirad

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Adversarial Attacks on Large Language Models Using Regularized Relaxation

Samuel Jacob Chacko, Sajib Biswas, Chashi Mahiul Islam, Fatema Tabassum Liza, Xiuwen Liu

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 8 pages, 6 figures

Mission Impossible: A Statistical Perspective on Jailbreaking LLMs

Jingtong Su, Julia Kempe, Karen Ullrich

专题命中 越狱攻击 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends

Daizong Liu, Mingyu Yang, Xiaoye Qu, Pan Zhou, Yu Cheng, Wei Hu

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；prompt injection(abstract)

COLD-Attack: Jailbreaking LLMs with Stealthiness and Controllability

Xingang Guo, Fangxu Yu, Huan Zhang, Lianhui Qin, Bin Hu

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to ICML 2024

Safety in Self-Evolving LLM Agent Systems: Threats, Amplification, and Case Studies

自进化LLM智能体系统中的安全性：威胁、放大与案例研究

Ruixiao Lin, Xinhao Deng, Qingming Li, Jianan Ma, Yunhao Feng, Yuqi Qing, Zhenyuan Li, Yechao Zhang, Shiwen Cui, Changhua Meng, Tianwei Zhang, Xingjun Ma, Qi Li, Ke Xu, Shouling Ji

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Tsinghua University（清华大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学） 纠错

专题命中 越狱攻击 ：safety(title)；分类 cs.AI

AI总结 本文系统分析自进化LLM智能体系统的安全威胁，提出模块-生命周期攻击面矩阵，揭示17个关键威胁和7种跨模块放大效应，并通过案例证明进化设计激活3.5倍攻击面且静态防御失效。

OTTER: A Red-Teaming System for Toxicity-Evading Jailbreak Prompt Optimization

OTTER：一种用于规避毒性检测的越狱提示优化的红队系统

Jerry Wang, Hsin-Ling Hsu, Yi-Cheng Lai, Nai-Chia Chen, Fang Yu

机构 * National Chengchi University, Taipei, Taiwan（国立中正大学，台北，台湾） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 越狱攻击 ：jailbreak(title)；分类 cs.CL

AI总结 提出OTTER系统，通过替换少量令牌解耦表面毒性与对抗意图，在四个GPT模型上将平均攻击成功率从7.0%提升至84.0%，并首次量化分析毒性-绕过关系。

AutoDAN-Reasoning: Enhancing Strategies Exploration based Jailbreak Attacks with Test-Time Scaling

Xiaogeng Liu, Chaowei Xiao

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 越狱攻击 ：jailbreak(title)；分类 cs.AI

Comments Technical report. Code is available at https://github.com/SaFoLab-WISC/AutoDAN-Reasoning

Jailbreaking Large Language Models Through Alignment Vulnerabilities in Out-of-Distribution Settings

Yue Huang, Jingyu Tang, Dongping Chen, Bingda Tang, Yao Wan, Lichao Sun, Philip S. Yu, Xiangliang Zhang

专题命中 越狱攻击 ：alignment(title)；分类 cs.CL

Towards Trustworthy Web Attack Detection: An Uncertainty-Aware Ensemble Deep Kernel Learning Model

Yonghang Zhou, Hongyi Zhu, Yidong Chai, Yuanchun Jiang, Yezheng Liu

专题命中 越狱攻击 ：trustworthy(title)；分类 cs.LG

RoleBreak: Character Hallucination as a Jailbreak Attack in Role-Playing Systems

Yihong Tang, Bo Wang, Xu Wang, Dongming Zhao, Jing Liu, Jijun Zhang, Ruifang He, Yuexian Hou

专题命中 越狱攻击 ：jailbreak(title)；分类 cs.CL

Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing

Jiabao Ji, Bairu Hou, Alexander Robey, George J. Pappas, Hamed Hassani, Yang Zhang, Eric Wong, Shiyu Chang

专题命中 越狱攻击 ：jailbreak(title)；分类 cs.CL

Comments 37 pages

Learning to love diligent trolls: Accounting for rater effects in the dialogue safety task

Michael John Ilagan

专题命中 越狱攻击 ：safety(title)；分类 cs.CL

Comments Accept-Findings at EMNLP 2023

Automating Deception: Scalable Multi-Turn LLM Jailbreaks

自动化欺骗：可扩展的多轮LLM欺骗攻击

Adarsh Kumarappan, Ananya Mujoo

机构 * California Institute of Technology（加州理工学院） ； Evergreen Valley College（埃弗格林谷学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出自动化生成多轮LLM欺骗数据集的方法，揭示GPT家族模型在对话历史中的脆弱性，而Gemini 2.5 Flash则表现出极强的抗性。

Towards Realistic Guarantees: A Probabilistic Certificate for SmoothLLM

迈向现实保证：一种概率证书用于SmoothLLM

Adarsh Kumarappan, Ayushi Mehrotra

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种概率框架，通过(k, ε)-unstable假设提升LLM对抗劫持攻击的安全性保障。

Jailbreaking for the Average Jane: Choosing Optimal Jailbreaks via Bandit Algorithms for Automatically Enhanced Queries

普通人的越狱：通过多臂老虎机算法选择最优越狱以自动增强查询

Prarabdh Shukla, Ritik, Suhas Rao, Arpit Agarwal, Arjun Bhagoji

机构 * Centre for Machine Intelligence and Data Science, IIT Bombay（印度理工学院班加罗尔机器智能与数据科学中心） ； Department of Computer Science and Engineering, IIT Bombay（印度理工学院班加罗尔计算机科学与工程系） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于多臂老虎机框架的越狱攻击策略，在线学习最优越狱方法，并构建包含11,279个恶意查询的安全基准FrankensteinBench，实验表明对15个开源LLM平均成功率高达97%。