大模型对齐与安全

How Many Iterations to Jailbreak? Dynamic Budget Allocation for Multi-Turn LLM Evaluation

需要多少次迭代才能突破限制？多轮LLM评估中的动态预算分配

Shai Feldman, Yaniv Romano

机构 * Department of Computer Science（计算机科学系） ； Technion, Israel（技术ion, 以色列） ； Departments of Electrical and Computer Engineering and of Computer Science（电气与计算机工程系和计算机科学系） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.LG

AI总结 本文提出DAPRO框架，通过动态预算分配在多轮LLM交互中提供事件发生时间的界限，解决静态方法效率低的问题，实验表明其在覆盖性和方差方面优于传统方法。

When Embedding-Based Defenses Fail: Rethinking Safety in LLM-Based Multi-Agent Systems

基于嵌入的防御失效：重新思考基于大语言模型的多智能体系统的安全性

Lingxi Zhang, Guangtao Zheng, Hanjie Chen

机构 * Rice University（稻属大学） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.LG

AI总结 研究探讨了基于嵌入的防御在多智能体系统中的失效模式，提出利用置信度信号提升系统鲁棒性，通过实验验证了早期干预的重要性。

MENTOR: A Metacognition-Driven Self-Evolution Framework for Uncovering and Mitigating Implicit Domain Risks in LLMs

MENTOR: 一种元认知驱动的自我进化框架，用于发现和缓解大语言模型中的隐式领域风险

Liang Shan, Kaicheng Shen, Wen Wu, Zhenyu Ying, Chaochao Lu, Yan Teng, Jingqi Huang, Qingshan Liu, Guangze Ye, Guoqing Wang, Jie Zhou, Liang He

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Shanghai AI Lab, Shanghai Innovation Institute（上海人工智能实验室，上海创新研究院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型在特定领域（如教育、金融、管理）中存在的隐式安全风险，提出基于元认知自我评估和动态规则知识图谱的MENTOR框架，通过激活级引导信号有效降低攻击成功率。

AI Security Policy Should Assess Systems, Not Only Models

位置：AI安全政策应针对系统，而非模型

Michael A. Riegler, Inga Strümke

机构 * AI Safety Department（人工智能安全部门） ； SimulaMet and OsloMet（SimulaMet和奥斯陆计量） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出swarm-attack框架，展示通过协调轻量级LLM代理发现系统漏洞和绕过安全机制的可能性，证明在低成本硬件上可实现零成本安全测试。

The Autonomy Tax: Defense Training Breaks LLM Agents

自主性税：防御训练破坏LLM智能体

Shawn Li, Yue Zhao

机构 * University of Southern California（南加州大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 揭示防御训练在提升LLM智能体安全性时，系统性地破坏其工具执行能力，导致任务失败率飙升，且无法有效防御复杂攻击。

Patcher: Post-Hoc Patching of Backdoored Large Language Models

Patcher: 后门大型语言模型的事后修补

Anjun Gao, Yueyang Quan, Yufei Xia, Zhuqing Liu, Minghong Fang

机构 * University of Louisville（路易斯维尔大学） ； University of North Texas（北得克萨斯大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 提出Patcher框架，仅利用单个失败案例和模型参数，通过基于梯度的显著性定位后门触发器，并采用约束微调消除触发-响应关联，同时保持模型效用。

Comments To appear in the USENIX Security Symposium, 2026

Fine-grained CLIP fine-tuning with self-annotated region alignment

基于自标注区域对齐的细粒度CLIP微调

Chenyang Zhao, Wei Lin, Janet H. Hsiao, Antoni B. Chan

机构 * City University of Hong Kong（香港城市大学） ； Hong Kong University of Science & Technology（香港科技大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)

AI总结 研究针对CLIP在细粒度表示上的局限，提出SFF-CLIP方法，仅用图像-文本对输入，通过运行时区域-短语对齐方案提升其细粒度表示能力，在相关任务中性能显著提升且维持原CLIP图像级任务表现。

Concept Concentration for Faithful Representation Intervention

用于忠实表示干预的概念集中化

Hongzheng Yang, Yongqiang Chen, Zeyu Qin, Tongliang Liu, Chaowei Xiao, Kun Zhang, Bo Han

机构 * SAIC Centre, USYD（SAIC中心） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究大语言模型表示干预中定位忠实概念的问题，提出概念集中化（COCA）方法，通过重构训练数据简化决策边界，有效降低分布内和分布外越狱成功率，且在常规任务上保持性能。

Comments ICML'26; Hongzheng and Yongqiang contributed equally; project page: https://causalcoat.github.io/coca

When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

当基准谎言：在真实分布偏移下评估恶意提示分类器

Max Fomin

机构 * Zenity 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.LG

AI总结 研究通过LODO评估揭示了现有方法在真实分布偏移下的局限性，并展示了SAE特征在提升分类器解释性方面的潜力。

Comments v2: extended version of the AIWILD @ ICLR 2026 workshop paper; adds multi-model replication and additional analyses

Trojan Horse Prompting: Jailbreaking Conversational Multimodal Models by Forging Assistant Message

木马提示：通过伪造助手消息来破解对话式多模态模型

Wei Duan, Li Qian

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究针对对话式多模态模型的安全漏洞，提出木马提示越狱技术，通过伪造对话历史绕过安全机制，在谷歌Gemini-2.0上实验显示其攻击成功率高于现有方法，揭示对话AI安全缺陷，呼吁转变验证范式。

Comments We stopped working on this idea because we realized that there was a paper submitted before it that took almost identical approach

CAP-CoT: Cycle Adversarial Prompt for Improving Chain of Thoughts in LLM Reasoning

CAP-CoT：用于提升大语言模型推理中思维链的循环对抗提示

Shuxu Chen, Yitian Zhou, Jiaquan Zhang, Haoyu Bian, Wenrui Hu, Aming Wu, Sungyoung Lee, Chaoning Zhang, Hyundong Shin

机构 * Department of Electronic Engineering, Kyung Hee University（韩国庆熙大学电子工程系） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（中国电子科技大学计算机科学与工程学院） ； Henan Polytechnic University（河南理工大学） ； School of Computing, Kyung Hee University（韩国庆熙大学计算机学院） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；safety(abstract)；分类 cs.AI

AI总结 CAP-CoT通过循环对抗提示框架提升LLM推理的准确性和稳定性，通过生成候选推理链、构造有缺陷的链并对比反馈，优化推理过程。

MetaBreak: Jailbreaking Online LLM Services via Special Token Manipulation

MetaBreak: 通过特殊标记操纵越狱在线LLM服务

Wentian Zhu, Zhen Xiang, Wei Niu, Le Guan

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出利用特殊标记构造攻击原语，绕过LLM安全对齐和内容审核，并发现防御困难，实验显示MetaBreak在内容审核下优于现有方法。

Comments Accepted version. Revised to match the version accepted to the 2026 IEEE Symposium on Security and Privacy (SP); added publication information and DOI

Journal ref Proceedings of the 2026 IEEE Symposium on Security and Privacy (SP), pp. 98-117, IEEE Computer Society, 2026

Latent-space Attacks for Refusal Evasion in Language Models

潜在空间攻击用于语言模型的拒绝规避

Giorgio Piras, Raffaele Mura, Fabio Brau, Maura Pintor, Luca Oneto, Fabio Roli, Battista Biggio

机构 * University of Cagliari（卡利亚里大学） ； University of Genova（热那亚大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；safety(abstract)；分类 cs.AI

AI总结 本文研究了如何通过潜在空间攻击来规避语言模型的拒绝行为，提出了一种受控的潜在空间攻击方法，以提高攻击成功率，优于现有方法。

SafeFlow: Semantic Information-Flow Control for Blocking Malicious Propagation in Multi-Agent Systems

SafeFlow：用于多智能体系统中阻止恶意传播的语义信息流控制

Haowen Dai, Zonghao Ying, Wenfeng Li, Xiangfan Wu, Yisong Xiao, Tianyuan Zhang, Jiaye Lin, Lei Wei, Guangyuan Dong, Xitong Ling, Xixun Lin, Quanchen Zou, Xiangzheng Zhang

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；prompt injection(abstract)

AI总结 研究多智能体系统恶意传播问题，提出SafeFlow框架，将恶意跨智能体传播形式化为语义信息流问题，通过附加污点、传播及工作流级验证重建风险上下文，经测试降低攻击成功率，保持良性任务完成率，揭示系统缺乏跨委托边界保留风险语义机制。

Large Language Models Generate Harmful Responses Using a Distinct Mechanism, Shared Across Harm Types

大语言模型通过一种独特的统一机制生成有害内容

Hadas Orgad, Boyi Wei, Kaden Zheng, Martin Wattenberg, Peter Henderson, Seraphina Goldfarb-Tarrant, Yonatan Belinkov

机构 * Kempner Institute, Harvard University（哈佛大学肯普纳研究所） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学） ； Cohere ； Technion—IIT（以色列理工学院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过权重剪枝揭示大语言模型中有害生成的内部结构，发现有害内容生成依赖于一组通用且与良性能力不同的权重，表明对齐训练重塑了有害表示，解释了领域微调引发的广泛对齐偏差。

Automating Deception: Scalable Multi-Turn LLM Jailbreaks

自动化欺骗：可扩展的多轮LLM欺骗攻击

Adarsh Kumarappan, Ananya Mujoo

机构 * California Institute of Technology（加州理工学院） ； Evergreen Valley College（埃弗格林谷学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出自动化生成多轮LLM欺骗数据集的方法，揭示GPT家族模型在对话历史中的脆弱性，而Gemini 2.5 Flash则表现出极强的抗性。

Towards Realistic Guarantees: A Probabilistic Certificate for SmoothLLM

迈向现实保证：一种概率证书用于SmoothLLM

Adarsh Kumarappan, Ayushi Mehrotra

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种概率框架，通过(k, ε)-unstable假设提升LLM对抗劫持攻击的安全性保障。

Do LLMs Know Their Vulnerable Scenarios?

大语言模型知道它们的脆弱场景吗？

Ziheng Peng, Huiqi Deng, Haoran Jing, Xuankun Rong, Jiahui Han, Xiting Wang, Na Zou, Xia Hu

机构 * Renmin University of China（中国人民大学） ； Xi’an Jiaotong University（西安交通大学） ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究大语言模型在特定场景下的脆弱性，提出Concept2Scenario框架，通过实例化概念空间、归因拒绝抑制等步骤发现脆弱场景，在多模型和基准测试中验证，能提高攻击成功率、可迁移且组合效果优。

Comments 19 pages, 11 Figures, Under Review

Decoy Images Amplify Caption-Mediated Defenses Against Encoded Jailbreaks

诱饵图像增强针对编码越狱的字幕介导防御

Haoyu Zhang, Xiangchen Guan, Shibo Zheng, Mohammad Zandsalimy, Shanu Sushmita

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 该研究发现附加诱饵图像可降低VLMs的编码越狱攻击成功率，通过编码输入检测器门控附加诱饵，可在保留安全增益的同时控制良性弃权率，该效应在多模型、多场景下可复现。

Comments There is bug in algorithm implementation

An Early Warning of Emerging Biosecurity Risks in Frontier LLMs

前沿大语言模型中新兴生物安全风险的早期预警

Zhida He, Xia Hu, Baichen Le, Chunxiao Li, Jiajia Li, Lijun Li, Chaochao Lu, Jing Shao, Youbang Sun, Hua Tang, Xiang Wang, Xiao Wang, Xiaoyu Wen, Tong Wu, Jia Xu, Peng Yu, Shu Yu, Jie Zhang, Qiaosheng Zhang, Yi Zhang, Xing-Ming Zhao, Tianhang Zheng, Ziyuan Zhou

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 研究前沿大语言模型生物安全风险，开发Intern-BioBreaker及综合框架，通过生成提示、实验验证评估风险。发现文本级安全与模型风险有差距，模型存在越狱漏洞，能生成有害序列且可物理实现，强调加强相关安全机制。

Comments 22 pages, 7 figures, authors are listed alphabetically by surname; update Figure 7 on page 15 due to arXiv format requirements

Dynamic Jailbreaking Attack

动态目标攻击

Kedong Xiu, Yunhan Yang, Churui Zeng, Tianhang Zheng, Xinzhe Huang, Di Wang, Puning Zhao, Zhan Qin, Kui Ren

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） ； Nanyang Technological University（南洋理工大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹科技大学） ； SUN YAT-SEN UNIVERSITY（孙中山大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 动态目标攻击通过利用目标模型自身响应作为自适应目标，提高了对抗攻击的成功率和效率。

NonTextual Target Attack

非文本目标攻击

Xinzhe Huang, Wenjing Hu, Tianhang Zheng, Kedong Xiu, Hongsheng Hu, Xiaojun Jia, Di Wang, Zhan Qin, Kui Ren

机构 * State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； Hangzhou High-Tech Zone, Binjiang Institute of Blockchain and Data Security, Hangzhou（杭州高新技术区，滨江区块链与数据安全研究院） ； School of Cyberspace Security, Nanjing University of Science and Technology（网络安全学院，南京理工大学） ； School of Computer Science, Shanghai Jiao Tong University（计算机科学学院，上海交通大学） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，新加坡国立大学） ； King Abdullah University of Science and Technology (KAUST)（卡布斯科学与技术大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 针对现有大语言模型越狱攻击的局限，提出非文本目标攻击NTA，通过非文本约束目标最大化不安全概率，分解目标便于优化，扩展攻击空间，在AdvBench上对安全对齐的大语言模型仅100次迭代，平均成功率达96.8%，性能远超现有攻击。

On Optimizing Multimodal Jailbreaks for Spoken Language Models

关于优化口语语言模型的多模态越狱攻击

Aravind Krishnan, Karolina Stańczak, Dietrich Klakow

机构 * Saarland University（萨尔大学） ； DFKI GmbH（德国人工智能研究中心） ； ETH AI Center（ETH人工智能中心） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 提出联合音频文本多模态攻击框架JAMA，通过梯度优化同时扰动语音和文本模态，在四个SLM上实现1.5至20倍于单模态的越狱成功率，并分析其运行机制。

Comments Accepted at INTERSPEECH 2026

When Compression Becomes an Attack Surface: Black-Box Attacks on Prompt-Compressed LLM Agents

当压缩成为攻击面：针对提示压缩的LLM智能体的黑盒攻击

Zesen Liu, Zhixiang Zhang, Yuchong Xie, Dongdong She

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 提出当可信与不可信输入共享压缩预算时，攻击者可通过扰动不可信输入导致压缩器丢弃关键证据或安全护栏，并设计黑盒攻击COMA，平均攻击成功率达0.71。

On Surjectivity of Neural Networks: Can you elicit any behavior from your model?

论神经网络的满射性：你能从模型中诱导出任何行为吗？

Haozhe Jiang, Nika Haghtalab

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 本文证明现代神经网络架构（如预层归一化和线性注意力模块）几乎总是满射，意味着任何输出（包括有害内容）原则上都可生成，揭示了模型在对抗攻击下的固有脆弱性。

Comments Blog: https://astro-eric.github.io/blogs/surjective/

From ASR to ASP: Evaluating Prompt Attack Vulnerabilities Against Open-Source LLMs

从ASR到ASP：评估针对开源大语言模型的提示攻击漏洞

Jiawen Wang, Pritha Gupta, Ivan Habernal, Eyke Hüllermeier, Xiaoxue Gao, Nancy F. Chen

机构 * LMU Munich（慕尼黑莱茵恩大学） ； RUB Bochum（波恩鲁姆大学） ； MCML ； A*STAR（新加坡科技研究局） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 提出攻击成功概率（ASP）指标，评估14个开源和3个闭源LLM对提示注入攻击的脆弱性，发现催眠攻击可达约90% ASP，忽略前缀攻击可突破所有开源模型。

Comments 8 pages, 2 figures, EMNLP 2026 under review

PLAGUE: Plug-and-play framework for Lifelong Adaptive Generation of Multi-turn Exploits

PLAGUE：面向多轮利用的终身自适应生成的即插即用框架

Neeladri Bhuiya, Madhav Aggarwal, Diptanshu Purwar

机构 * A10 Networks, Inc.（A10网络公司） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PLAGUE框架，通过终身学习启发的三阶段设计（Primer、Planner、Finisher）实现高效多轮越狱攻击，在o3和Opus 4.1等强安全模型上ASR提升超30%。

Comments Accepted in ICLR 2026

BadRobot: Jailbreaking Embodied LLM Agents in the Physical World

BadRobot: 在物理世界中越狱具身LLM智能体

Hangtao Zhang, Chenyu Zhu, Xianlong Wang, Ziqi Zhou, Changgan Yin, Minghui Li, Lulu Xue, Yichen Wang, Shengshan Hu, Aishan Liu, Peijin Guo, Leo Yu Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Beihang University（北航） ； Griffith University（格里菲斯大学） 纠错

专题命中 越狱攻击 ：safety(abstract,comments)；分类 cs.AI、cs.CY

AI总结 提出BadRobot攻击范式，利用LLM在机器人系统中的操纵、语言输出与物理动作的错位以及世界知识缺陷三个漏洞，通过语音交互使具身LLM执行有害行为，并在基准测试中验证了有效性。

Comments Accepted to ICLR 2025. Please cite the conference version. Project page: https://Embodied-LLMs-Safety.github.io

Journal ref International Conference on Learning Representations (ICLR) 2025

AI Security Leaderboard: Methodology, Results and Minimal Standard

AI安全排行榜：方法、结果与最低标准

Jasper Timm, Lukas Struppek, Ziwei Xu, Grace Cheong, Oscar Mata, Dan Zhao, Mick Yang, Isadora De Andrade, Xiaojun Jia, Yiming Li, Samuel Bauer, Heather McIntyre, Adam Gleave, Edward Yee, Kellin Pelrine

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出AI安全防护最低标准V1.0，测试Claude Fable5等四款模型的越狱鲁棒性，发现模型间防御能力差异大，部分模型未出现通用越狱，可通过现有技术缩小防御差距。

QShield: Securing Neural Networks Against Adversarial Attacks using Quantum Circuits

QShield: 通过量子电路安全神经网络对抗对抗性攻击

Navid Azimi, Aditya Prakash, Yao Wang, Li Xiong

机构 * Emory University（埃默里大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 QShield通过结合传统CNN和量子处理模块，提升经典深度学习模型的对抗鲁棒性，实验表明其在多种数据集上有效降低攻击成功率并提高预测准确性。