大模型对齐与安全

When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

当基准谎言：在真实分布偏移下评估恶意提示分类器

Max Fomin

机构 * Zenity 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.LG

AI总结 研究通过LODO评估揭示了现有方法在真实分布偏移下的局限性，并展示了SAE特征在提升分类器解释性方面的潜力。

Comments v2: extended version of the AIWILD @ ICLR 2026 workshop paper; adds multi-model replication and additional analyses

Trojan Horse Prompting: Jailbreaking Conversational Multimodal Models by Forging Assistant Message

木马提示：通过伪造助手消息来破解对话式多模态模型

Wei Duan, Li Qian

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究针对对话式多模态模型的安全漏洞，提出木马提示越狱技术，通过伪造对话历史绕过安全机制，在谷歌Gemini-2.0上实验显示其攻击成功率高于现有方法，揭示对话AI安全缺陷，呼吁转变验证范式。

Comments We stopped working on this idea because we realized that there was a paper submitted before it that took almost identical approach

CAP-CoT: Cycle Adversarial Prompt for Improving Chain of Thoughts in LLM Reasoning

CAP-CoT：用于提升大语言模型推理中思维链的循环对抗提示

Shuxu Chen, Yitian Zhou, Jiaquan Zhang, Haoyu Bian, Wenrui Hu, Aming Wu, Sungyoung Lee, Chaoning Zhang, Hyundong Shin

机构 * Department of Electronic Engineering, Kyung Hee University（韩国庆熙大学电子工程系） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（中国电子科技大学计算机科学与工程学院） ； Henan Polytechnic University（河南理工大学） ； School of Computing, Kyung Hee University（韩国庆熙大学计算机学院） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；safety(abstract)；分类 cs.AI

AI总结 CAP-CoT通过循环对抗提示框架提升LLM推理的准确性和稳定性，通过生成候选推理链、构造有缺陷的链并对比反馈，优化推理过程。

MetaBreak: Jailbreaking Online LLM Services via Special Token Manipulation

MetaBreak: 通过特殊标记操纵越狱在线LLM服务

Wentian Zhu, Zhen Xiang, Wei Niu, Le Guan

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出利用特殊标记构造攻击原语，绕过LLM安全对齐和内容审核，并发现防御困难，实验显示MetaBreak在内容审核下优于现有方法。

Comments Accepted version. Revised to match the version accepted to the 2026 IEEE Symposium on Security and Privacy (SP); added publication information and DOI

Journal ref Proceedings of the 2026 IEEE Symposium on Security and Privacy (SP), pp. 98-117, IEEE Computer Society, 2026

Latent-space Attacks for Refusal Evasion in Language Models

潜在空间攻击用于语言模型的拒绝规避

Giorgio Piras, Raffaele Mura, Fabio Brau, Maura Pintor, Luca Oneto, Fabio Roli, Battista Biggio

机构 * University of Cagliari（卡利亚里大学） ； University of Genova（热那亚大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract,abstract_cn)；safety(abstract)；分类 cs.AI

AI总结 本文研究了如何通过潜在空间攻击来规避语言模型的拒绝行为，提出了一种受控的潜在空间攻击方法，以提高攻击成功率，优于现有方法。

SafeFlow: Semantic Information-Flow Control for Blocking Malicious Propagation in Multi-Agent Systems

SafeFlow：用于多智能体系统中阻止恶意传播的语义信息流控制

Haowen Dai, Zonghao Ying, Wenfeng Li, Xiangfan Wu, Yisong Xiao, Tianyuan Zhang, Jiaye Lin, Lei Wei, Guangyuan Dong, Xitong Ling, Xixun Lin, Quanchen Zou, Xiangzheng Zhang

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；prompt injection(abstract)

AI总结 研究多智能体系统恶意传播问题，提出SafeFlow框架，将恶意跨智能体传播形式化为语义信息流问题，通过附加污点、传播及工作流级验证重建风险上下文，经测试降低攻击成功率，保持良性任务完成率，揭示系统缺乏跨委托边界保留风险语义机制。

Large Language Models Generate Harmful Responses Using a Distinct Mechanism, Shared Across Harm Types

大语言模型通过一种独特的统一机制生成有害内容

Hadas Orgad, Boyi Wei, Kaden Zheng, Martin Wattenberg, Peter Henderson, Seraphina Goldfarb-Tarrant, Yonatan Belinkov

机构 * Kempner Institute, Harvard University（哈佛大学肯普纳研究所） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学） ； Cohere ； Technion—IIT（以色列理工学院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过权重剪枝揭示大语言模型中有害生成的内部结构，发现有害内容生成依赖于一组通用且与良性能力不同的权重，表明对齐训练重塑了有害表示，解释了领域微调引发的广泛对齐偏差。

Automating Deception: Scalable Multi-Turn LLM Jailbreaks

自动化欺骗：可扩展的多轮LLM欺骗攻击

Adarsh Kumarappan, Ananya Mujoo

机构 * California Institute of Technology（加州理工学院） ； Evergreen Valley College（埃弗格林谷学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出自动化生成多轮LLM欺骗数据集的方法，揭示GPT家族模型在对话历史中的脆弱性，而Gemini 2.5 Flash则表现出极强的抗性。

Towards Realistic Guarantees: A Probabilistic Certificate for SmoothLLM

迈向现实保证：一种概率证书用于SmoothLLM

Adarsh Kumarappan, Ayushi Mehrotra

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种概率框架，通过(k, ε)-unstable假设提升LLM对抗劫持攻击的安全性保障。

Do LLMs Know Their Vulnerable Scenarios?

大语言模型知道它们的脆弱场景吗？

Ziheng Peng, Huiqi Deng, Haoran Jing, Xuankun Rong, Jiahui Han, Xiting Wang, Na Zou, Xia Hu

机构 * Renmin University of China（中国人民大学） ； Xi’an Jiaotong University（西安交通大学） ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究大语言模型在特定场景下的脆弱性，提出Concept2Scenario框架，通过实例化概念空间、归因拒绝抑制等步骤发现脆弱场景，在多模型和基准测试中验证，能提高攻击成功率、可迁移且组合效果优。

Comments 19 pages, 11 Figures, Under Review

Decoy Images Amplify Caption-Mediated Defenses Against Encoded Jailbreaks

诱饵图像增强针对编码越狱的字幕介导防御

Haoyu Zhang, Xiangchen Guan, Shibo Zheng, Mohammad Zandsalimy, Shanu Sushmita

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 该研究发现附加诱饵图像可降低VLMs的编码越狱攻击成功率，通过编码输入检测器门控附加诱饵，可在保留安全增益的同时控制良性弃权率，该效应在多模型、多场景下可复现。

Comments There is bug in algorithm implementation

An Early Warning of Emerging Biosecurity Risks in Frontier LLMs

前沿大语言模型中新兴生物安全风险的早期预警

Zhida He, Xia Hu, Baichen Le, Chunxiao Li, Jiajia Li, Lijun Li, Chaochao Lu, Jing Shao, Youbang Sun, Hua Tang, Xiang Wang, Xiao Wang, Xiaoyu Wen, Tong Wu, Jia Xu, Peng Yu, Shu Yu, Jie Zhang, Qiaosheng Zhang, Yi Zhang, Xing-Ming Zhao, Tianhang Zheng, Ziyuan Zhou

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 研究前沿大语言模型生物安全风险，开发Intern-BioBreaker及综合框架，通过生成提示、实验验证评估风险。发现文本级安全与模型风险有差距，模型存在越狱漏洞，能生成有害序列且可物理实现，强调加强相关安全机制。

Comments 22 pages, 7 figures, authors are listed alphabetically by surname; update Figure 7 on page 15 due to arXiv format requirements

Dynamic Jailbreaking Attack

动态目标攻击

Kedong Xiu, Yunhan Yang, Churui Zeng, Tianhang Zheng, Xinzhe Huang, Di Wang, Puning Zhao, Zhan Qin, Kui Ren

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） ； Nanyang Technological University（南洋理工大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹科技大学） ； SUN YAT-SEN UNIVERSITY（孙中山大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 动态目标攻击通过利用目标模型自身响应作为自适应目标，提高了对抗攻击的成功率和效率。

NonTextual Target Attack

非文本目标攻击

Xinzhe Huang, Wenjing Hu, Tianhang Zheng, Kedong Xiu, Hongsheng Hu, Xiaojun Jia, Di Wang, Zhan Qin, Kui Ren

机构 * State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； Hangzhou High-Tech Zone, Binjiang Institute of Blockchain and Data Security, Hangzhou（杭州高新技术区，滨江区块链与数据安全研究院） ； School of Cyberspace Security, Nanjing University of Science and Technology（网络安全学院，南京理工大学） ； School of Computer Science, Shanghai Jiao Tong University（计算机科学学院，上海交通大学） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，新加坡国立大学） ； King Abdullah University of Science and Technology (KAUST)（卡布斯科学与技术大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 针对现有大语言模型越狱攻击的局限，提出非文本目标攻击NTA，通过非文本约束目标最大化不安全概率，分解目标便于优化，扩展攻击空间，在AdvBench上对安全对齐的大语言模型仅100次迭代，平均成功率达96.8%，性能远超现有攻击。

On Optimizing Multimodal Jailbreaks for Spoken Language Models

关于优化口语语言模型的多模态越狱攻击

Aravind Krishnan, Karolina Stańczak, Dietrich Klakow

机构 * Saarland University（萨尔大学） ； DFKI GmbH（德国人工智能研究中心） ； ETH AI Center（ETH人工智能中心） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 提出联合音频文本多模态攻击框架JAMA，通过梯度优化同时扰动语音和文本模态，在四个SLM上实现1.5至20倍于单模态的越狱成功率，并分析其运行机制。

Comments Accepted at INTERSPEECH 2026

When Compression Becomes an Attack Surface: Black-Box Attacks on Prompt-Compressed LLM Agents

当压缩成为攻击面：针对提示压缩的LLM智能体的黑盒攻击

Zesen Liu, Zhixiang Zhang, Yuchong Xie, Dongdong She

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 提出当可信与不可信输入共享压缩预算时，攻击者可通过扰动不可信输入导致压缩器丢弃关键证据或安全护栏，并设计黑盒攻击COMA，平均攻击成功率达0.71。

On Surjectivity of Neural Networks: Can you elicit any behavior from your model?

论神经网络的满射性：你能从模型中诱导出任何行为吗？

Haozhe Jiang, Nika Haghtalab

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 本文证明现代神经网络架构（如预层归一化和线性注意力模块）几乎总是满射，意味着任何输出（包括有害内容）原则上都可生成，揭示了模型在对抗攻击下的固有脆弱性。

Comments Blog: https://astro-eric.github.io/blogs/surjective/

From ASR to ASP: Evaluating Prompt Attack Vulnerabilities Against Open-Source LLMs

从ASR到ASP：评估针对开源大语言模型的提示攻击漏洞

Jiawen Wang, Pritha Gupta, Ivan Habernal, Eyke Hüllermeier, Xiaoxue Gao, Nancy F. Chen

机构 * LMU Munich（慕尼黑莱茵恩大学） ； RUB Bochum（波恩鲁姆大学） ； MCML ； A*STAR（新加坡科技研究局） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 提出攻击成功概率（ASP）指标，评估14个开源和3个闭源LLM对提示注入攻击的脆弱性，发现催眠攻击可达约90% ASP，忽略前缀攻击可突破所有开源模型。

Comments 8 pages, 2 figures, EMNLP 2026 under review

PLAGUE: Plug-and-play framework for Lifelong Adaptive Generation of Multi-turn Exploits

PLAGUE：面向多轮利用的终身自适应生成的即插即用框架

Neeladri Bhuiya, Madhav Aggarwal, Diptanshu Purwar

机构 * A10 Networks, Inc.（A10网络公司） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PLAGUE框架，通过终身学习启发的三阶段设计（Primer、Planner、Finisher）实现高效多轮越狱攻击，在o3和Opus 4.1等强安全模型上ASR提升超30%。

Comments Accepted in ICLR 2026

BadRobot: Jailbreaking Embodied LLM Agents in the Physical World

BadRobot: 在物理世界中越狱具身LLM智能体

Hangtao Zhang, Chenyu Zhu, Xianlong Wang, Ziqi Zhou, Changgan Yin, Minghui Li, Lulu Xue, Yichen Wang, Shengshan Hu, Aishan Liu, Peijin Guo, Leo Yu Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Beihang University（北航） ； Griffith University（格里菲斯大学） 纠错

专题命中 越狱攻击 ：safety(abstract,comments)；分类 cs.AI、cs.CY

AI总结 提出BadRobot攻击范式，利用LLM在机器人系统中的操纵、语言输出与物理动作的错位以及世界知识缺陷三个漏洞，通过语音交互使具身LLM执行有害行为，并在基准测试中验证了有效性。

Comments Accepted to ICLR 2025. Please cite the conference version. Project page: https://Embodied-LLMs-Safety.github.io

Journal ref International Conference on Learning Representations (ICLR) 2025

AI Security Leaderboard: Methodology, Results and Minimal Standard

AI安全排行榜：方法、结果与最低标准

Jasper Timm, Lukas Struppek, Ziwei Xu, Grace Cheong, Oscar Mata, Dan Zhao, Mick Yang, Isadora De Andrade, Xiaojun Jia, Yiming Li, Samuel Bauer, Heather McIntyre, Adam Gleave, Edward Yee, Kellin Pelrine

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出AI安全防护最低标准V1.0，测试Claude Fable5等四款模型的越狱鲁棒性，发现模型间防御能力差异大，部分模型未出现通用越狱，可通过现有技术缩小防御差距。

QShield: Securing Neural Networks Against Adversarial Attacks using Quantum Circuits

QShield: 通过量子电路安全神经网络对抗对抗性攻击

Navid Azimi, Aditya Prakash, Yao Wang, Li Xiong

机构 * Emory University（埃默里大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 QShield通过结合传统CNN和量子处理模块，提升经典深度学习模型的对抗鲁棒性，实验表明其在多种数据集上有效降低攻击成功率并提高预测准确性。

Security Without Detection: Economic Denial as a Primitive for Edge and IoT Defense

无需检测的安全：经济否认作为边缘和物联网防御的基本原理

Samaresh Kumar Singh, Joyjit Roy, Sriharsha Anand Pushkala

机构 * st Samaresh Kumar Singh（第一作者机构） ； nd Joyjit Roy（第二作者机构） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 EDS是一种不依赖检测的物联网和边缘安全方法，通过经济成本放大机制有效遏制攻击，实现超线性成本增加和高缓解率。

Comments 8 pages, 2 figures, submitted to 3rd International Conference on Intelligent Digitization of Systems and Services (IDSS2026)

CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield

CHERRY: 具有循环表示收益的压缩层次专家

Dohyeon Kwon, Youngjin Park

机构 * TeamSparta Inc.（TeamSparta公司） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 提出三种互补技术训练计算高效语言模型：选择性监督与每令牌效率、深度压缩与循环恢复、压缩专家融合，在CHERRY-1.8B韩语模型上验证，实现参数减少2.5倍且性能接近。

Comments 64pp, LaTeX. v2 rebuilds arXiv:2606.31796 into a full report: matched-compute discrimination/generation dissociation, recurrent-yield compression (48->6)+MoEE, pre-registered 1B->13.7B H-PRESERVE, sovereign Korean tokenizer (+9.2% vs Gemma-4), government HLE(Ko) column lead, cyber specialization. Recurrent compression cited by Loopie (arXiv:2607.16051). Tables incl.; v1 in history

Dissociative Identity: Language Model Agents Lack Grounding for Reputation Mechanisms

分离性身份：语言模型代理缺乏声誉机制的基础

Botao Amber Hu, Helena Rong, Max Van Kleek

机构 * University of Oxford（牛津大学） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 本文指出语言模型代理因本体上的分离性（模块可替换、身份流动）而无法满足声誉机制所需的身份持续性、行为可预测性和制裁敏感性，从而提出转向基于可观察性、事前、构成性、协议的行为约束。

Comments Accepted by FaccT 2026

Helpful to a Fault: Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents

有益于故障：测量多轮、多语言LLM代理中的非法协助

Nivya Talokar, Ayush K Tarun, Murari Mandal, Maksym Andriushchenko, Antoine Bosselut

机构 * EPFL（苏黎世联邦理工学院） ； independent（独立研究员） ； tubingen（图宾根大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出STING框架，用于评估多轮多语言LLM代理在执行非法任务时的协助能力，发现低资源语言中攻击成功率不一致，提供实际部署中的压力测试方法。

Comments Accepted in ICML 2026

Evaluating Jailbreaking Vulnerabilities in LLMs Deployed as Assistants for Smart Grid Operations: A Benchmark Against NERC Standards

评估部署于智能电网操作中的LLM jailbreaking漏洞：与NERC标准的基准测试

Taha Hammadia, Lucas Rea, Ahmad Mohammad Saber, Amr Youssef, Deepa Kundur

机构 * ECE Department, University of Toronto（多伦多大学电子工程系） ； CIISE, Concordia University（麦吉尔大学CIISE） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文评估了智能电网操作中部署LLM的jailbreaking漏洞，通过与NERC标准的基准测试，发现DeepInception方法攻击成功率最高，Claude 3.5 Haiku完全免疫，Gemini 2.0 Flash-Lite最易受攻击。

Comments \c{opyright} 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure

能力悖论：更聪明的审计员如何使多智能体系统更不安全

Qiqi Liu, Runhan Song, Shilin Ye

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） ； Henan Yinzhu Safety Technology Co., Ltd.（河南亿众安全技术有限公司） ； Harbin Institute of Technology, Faculty of Computing（哈尔滨工业大学计算机学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文研究了多智能体系统中，随着工人能力的提升，系统级攻击成功率反而上升的现象，揭示了语言确定性在攻击传播中的作用，并提出异质性集成验证作为解决方案，以降低攻击成功率。

Comments 28 pages, 6 figures

Rewriting the Response Path: Silent Tampering and Provider-Signed Defense in BYOK LLM Agents

重写响应路径：BYOK LLM 代理中的静默篡改与提供者签名防御

Mingyu Luo, Zihan Zhang, Zesen Liu, Yuchong Xie, Zhixiang Zhang, Dung Hiu Hilton Yeung, Wai Ip Lai, Ping Chen, Ming Wen, Dongdong She

机构 * Fudan University（复旦大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.AI

AI总结 研究BYOK LLM代理响应路径完整性问题，发现中继可篡改响应。提出sign-c服务器端方案，能认证执行承载字段和查询，本地垫片验证，加密保护机密性，防御有效拒绝篡改响应，误拒率为零，延迟开销低。

Do GUI Agents Believe Their Eyes? Diagnosing State-Belief Reliance on Pixels versus Structure

图形用户界面代理相信它们的眼睛吗？诊断状态信念对像素与结构的依赖

Guijia Zhang, Yuxun Chen, Yuheng Qi, Harry Yang

机构 * Shenzhen University（深圳大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 研究多模态GUI代理状态信念来源，通过对310个真实探针进行单通道干预形式化视觉状态依赖并测量，核心指标是感知融合差距，发现文本状态信念依赖结构，图像精度高，错误会导致行动失败。

Comments 17 pages, 3 figures