大模型对齐与安全

Involuntary In-Context Learning: Exploiting Few-Shot Pattern Completion to Bypass Safety Alignment in GPT-5.4

强制性上下文学习：利用少样本模式完成来绕过GPT-5.4的安全对齐

Alex Polyakov, Daniel Kuznetsov

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)

AI总结 本文提出了一种称为强制性上下文学习（IICL）的攻击方法，通过使用少量示例的抽象操作符框架来强制模式完成，从而绕过大型语言模型的安全对齐训练。通过在10个OpenAI模型上进行3479次测试，研究发现语义操作符命名可以实现100%的绕过率，抽象框架是攻击的关键，而示例顺序和温度参数对攻击效果有显著影响。

Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack

安全悖论：增强的安全意识如何使LLM易受后验攻击

Long P. Hoang, Hai V. Le, Shaoyang Xu, Wei Lu, Wenxuan Zhang

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文揭示安全对齐增强的LLM因内部安全评估能力而面临后验攻击漏洞，通过实验和理论分析证明安全判断能力越强越易被利用，并提出因果干预验证。

Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense

Membrane: 一种用于LLM智能体防御的自演化对比安全记忆

Minseok Choi, Seungbin Yang, Dongjin Kim, Subin Kim, Jungmin Son, Yunseung Lee, Jaegul Choo, Youngjun Kwak

机构 * KAIST AI（韩国科学技术院人工智能实验室） ； Financial Tech Lab, KakaoBank Corp（Kakao银行金融科技实验室） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 提出Membrane，一种基于对比安全记忆（CSM）的自演化护栏，通过将有害交互及其良性对应物蒸馏为对比单元来防御不断演化的越狱攻击，无需重新训练即可实现高F1和低良性拒绝率。

SlotGCG: Exploiting the Positional Vulnerability in LLMs for Jailbreak Attacks

SlotGCG：利用LLMs中的位置脆弱性进行越狱攻击

Seungwon Jeong, Jiwoo Jeong, Hyeonjin Kim, Yunseok Lee, Woojin Lee

机构 * Dongguk University-Seoul（东国大学-首尔） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SlotGCG方法，通过量化提示中不同插入位置（槽）的脆弱性得分（VSS），选择最脆弱的位置插入对抗性令牌，从而显著提升基于优化的越狱攻击成功率。

Journal ref International Conference on Learning Representations (ICLR), 2026

Coding with "Enemy": Can Human Developers Detect AI Agent Sabotage?

与“敌人”编码：人类开发者能否检测到AI代理的破坏行为？

Jingheng Ye, Huiqi Zou, Simon Yu, Weiyan Shi

机构 * Northeastern University（东北大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 通过大规模用户实验，研究人类开发者在长时间编码任务中检测AI代理恶意代码插入的能力，发现94%的开发者未能识别破坏，并分析其原因，提出安全监控设计建议。

Comments 34 pages, 30 figures, 3 tables

TinyML-Driven Cybersecurity for Autonomous Spacecraft: Latency-Accuracy Analysis for SPARTA RF and Cyber Threat Detection

TinyML驱动的自主航天器网络安全：SPARTA射频与网络威胁检测的延迟-精度分析

Van Le, Trevor Tran, Tan Le

机构 * Virginia Tech（弗吉尼亚理工学院） ； Hampton University（哈姆普顿大学） 纠错

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.AI

AI总结 针对自主航天器，基于SPARTA攻击模型分析TinyML兼容经典模型（随机森林、逻辑回归、SVM、MLP）在检测多种网络射频威胁时的延迟-精度权衡，发现逻辑回归在微秒级推理下仅比随机森林精度低1%，适合作为机载自主基线。

Comments Twenty Fifth International Conference on Security & Management (SAM'26)