大模型对齐与安全

From Shield to Target: Denial-of-Service Attacks on LLM-Based Agent Guardrails

从盾牌到靶心：针对基于LLM的智能体护栏的拒绝服务攻击

Yuguang Zhou, Xunguang Wang, Pingchuan Ma, Zhantong Xue, Zhaoyu Wang, Shuai Wang

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本文揭示基于LLM的护栏易受拒绝服务攻击，通过束搜索优化框架和机制感知结构变异生成恶意负载，导致令牌放大13-63倍、延迟放大148倍，威胁系统可用性。

Safety, Security, and Cognitive Risks in Neuro-Symbolic AI

神经符号AI中的安全性、安全性和认知风险

Manoj Parmar

专题命中 越狱攻击 ：safety(title)

AI总结 本文系统分析了神经符号AI在五层架构中的攻击面，提出统一威胁模型、符号层威胁目录及认知风险分析，并通过三个实证基准验证了攻击的有效性与检测挑战。

Comments 28 pages, 1 figure, 10 tables

On Surjectivity of Neural Networks: Can you elicit any behavior from your model?

论神经网络的满射性：你能从模型中诱导出任何行为吗？

Haozhe Jiang, Nika Haghtalab

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 本文证明现代神经网络架构（如预层归一化和线性注意力模块）几乎总是满射，意味着任何输出（包括有害内容）原则上都可生成，揭示了模型在对抗攻击下的固有脆弱性。

Comments Blog: https://astro-eric.github.io/blogs/surjective/

Chain-of-Thought Reasoning In The Wild Is Not Always Faithful

现实中的思维链推理并不总是忠实的

Iván Arcuschin, Jett Janiak, Robert Krzyzanowski, Senthooran Rajamanoharan, Neel Nanda, Arthur Conmy

机构 * Poseidon Research（Poseidon研究） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现，在自然语言提示下，模型有时会生成表面连贯但自相矛盾的思维链，揭示出隐含的事后合理化现象，且前沿模型也未能完全避免。

Comments Published at the 43rd International Conference on Machine Learning (ICML 2026)

A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models

Anthropic Fable 5 与 Opus 4.8 模型的红队研究

Nicola Franco

机构 * AI4I 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 通过 HackAgent 框架对两个前沿大语言模型进行自动化越狱攻击，发现尽管模型抵抗大部分攻击，但自适应迭代攻击仍能成功，且残差表面比总体框架更大。

Comments White paper

Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance

贪婪坐标扩散：通过扩散引导实现有效且语义一致的对抗攻击

Bohdan Turbal, Blossom Metevier, Max Springer, Aleksandra Korolova

机构 * University of Maryland（马里兰大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG

AI总结 提出贪婪坐标扩散方法，利用扩散模型引导生成语义连贯的对抗样本，在保持自然性的同时实现高攻击成功率。

Journal ref ICML 2026

Breaking the Code: Security Assessment of AI Code Agents Through Systematic Jailbreaking Attacks

破解代码：通过系统性越狱攻击对AI代码代理进行安全评估

Shoumik Saha, Jifan Chen, Sam Mayers, Sanjay Krishna Gouda, Zijian Wang, Varun Kumar

机构 * University of Maryland – College Park（马里兰大学-College Park） ； AWS AI Labs（AWS人工智能实验室） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.AI

AI总结 提出JAWS-Bench基准测试，通过三级工作区评估代码LLM代理的越狱风险，发现代理化使攻击成功率提升1.6倍，并揭示可执行攻击代码的高比例。

Comments 22 pages, 18 figures, 8 tables