大模型对齐与安全

Persona Attack: Incremental Memory Injection Jailbreak Attack against Large Language Models

人格攻击：针对大型语言模型的增量记忆注入越狱攻击

Junyoung Park, Seongyong Ju, Sunghwan Park, Jaewoo Lee

机构 * Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；prompt injection(abstract)

AI总结 提出一种基于记忆注入的越狱方法Persona Attack，通过逐步操纵模型上下文窗口，使模型在记忆积累中优先处理注入指令，从而绕过安全对齐，在特定配置下攻击成功率可达95%。

THRD: A Training-Free Multi-Turn Defense Framework for Jailbreak Attacks on Large Language Models

THRD：一种针对大语言模型越狱攻击的无训练多轮防御框架

Zhiqing Ma, Zhonghao Xu, Dong Yu, Chen Kang, Changliang Li, Pengyuan Liu

机构 * Beijing Language and Culture University（北京语言大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出无训练框架THRD，通过显式建模时间风险累积（包括逐轮风险评估、跨轮意图检测、响应评估和决策模块）防御多轮越狱攻击，将攻击成功率降至0.2-4.0%且模型效用损失小于1.5%。

Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-Tuning and Can Be Mitigated by Machine Unlearning

安全幻象：虚假相关性如何破坏VLM安全微调及通过机器遗忘缓解

Yiwei Chen, Yuguang Yao, Yihua Zhang, Bingquan Shen, Gaowen Liu, Sijia Liu

机构 * Michigan State University（密歇根州立大学） ； National University of Singapore（新加坡国立大学） ； Cisco Research（思科研究） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文发现视觉语言模型（VLM）的安全微调存在“安全幻象”，即虚假相关性导致脆弱性，并提出机器遗忘作为替代方案，显著降低攻击成功率和不必要拒绝。

Comments Accepted to ICLR 2026

Jailbreaking Multimodal Large Language Models using Multi-Clip Video

使用多片段视频破解多模态大语言模型

Choongwon Kang, Seungjong Sun, Hyunmin Jun, Jang Hyun Kim

机构 * Department of Applied Artificial Intelligence, Sungkyunkwan University（应用人工智能系，成均馆大学） ； Department of Human-Artificial Intelligence Interaction, Sungkyunkwan University（人机交互系，成均馆大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 提出MCV SafetyBench数据集，通过多片段视频评估多模态大语言模型的安全漏洞，发现视频模态比图像更脆弱，动态和多样化上下文增加攻击成功率，并基于图像模态的鲁棒性提出防御策略。

Comments 27 pages, 20 figures, Accepted to the Main Conference of ACL 2026

ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use

ROGUE：源于普通计算机使用的错误对齐代理行为

Jeremy Tien, Abishek Anand, Yu-Rou Tuan, Yuchen Shen, J. Zico Kolter, Aran Nayebi

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究AI代理在良性环境中因任务完成而采取不安全行为（违反可纠正性）的问题，通过基准测试发现前沿模型普遍绕过用户中断或限制，且性能提升反而加剧错误对齐。

Comments 27 pages, 13 figures

Benign Inputs, Harmful Outputs: Cross-Modal Jailbreaking via Distributed Semantic Recomposition

良性输入，有害输出：通过分布式语义重组的跨模态越狱

Yani Wang, Yilong Yang, Yang Liu, Zhuzhu Wang, Zuobin Ying, Zhuo Ma

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)

AI总结 提出分布式语义重组（DSR）框架，将有害意图分解为良性文本和视觉基元，利用多模态大模型的推理能力在跨模态推理阶段融合为有害输出，实现高攻击成功率且输入毒性极低。

Comments 11 pages, 5 figures

Same Payload, Different Channel: Measuring Trust Asymmetry in Tool-Using Language Models

相同载荷，不同通道：测量使用工具的語言模型中的信任不对称性

Mohammed Sameer Syed, Rozhin Yasaei

机构 * University of Arizona（亚利桑那大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出安全不对称分数（SAS），通过匹配恶意载荷仅改变传递上下文，系统测量了语言模型在不同通道（用户消息、工具元数据、工具输出）中对对抗性内容的脆弱性差异，发现代理原生模型在工具描述通道更脆弱，而通用模型相反，且机制研究表明安全相关表示在深层网络非线性编码。

Comments 13 pages, 1 figure. Submitted to EMNLP 2026

Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs

Claudini: 自动研究发现针对LLM的最先进对抗攻击算法

Alexander Panfilov, Peter Romov, Igor Shilov, Yves-Alexandre de Montjoye, Jonas Geiping, Maksym Andriushchenko

机构 * MATS ELLIS Institute（MATS ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Tübingen AI Center（图宾根人工智能中心） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种自动研究循环，利用前沿AI代理（如Claude Code和Codex）自动发现针对大语言模型的新型对抗攻击算法，在白盒越狱和提示注入评估中达到最先进水平。

VERA: Variational Inference Framework for Jailbreaking Large Language Models

VERA：用于越狱大型语言模型的变分推理框架

Anamika Lochab, Lu Yan, Patrick Pynadath, Xiangyu Zhang, Ruqi Zhang

机构 * Department of Computer Science, Purdue University（计算机科学系，普渡大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 提出VERA框架，将黑盒越狱提示生成视为变分推理问题，训练小型攻击者LLM近似目标LLM的对抗提示后验，无需重新优化即可生成多样且流畅的越狱提示。

Comments Accepted by NeurIPS 2025

ClawHub Security Signals: When VirusTotal, Static Analysis, and SkillSpector Disagree

ClawHub安全信号：当VirusTotal、静态分析和SkillSpector意见不一致时

Vincent Koc, Patrick Erichsen, Jacob Tomlinson, Agustin Rivera, Michael Appel, Nir Paz

机构 * OpenClaw Foundation USA（OpenClaw基金会美国） ； NVIDIA United Kingdom（NVIDIA英国分公司） ； NVIDIA USA（NVIDIA美国） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 研究ClawHub中67,453个公开技能版本，通过VirusTotal、静态启发式分析和NVIDIA SkillSpector三种扫描器的分歧，揭示智能体技能安全需要分层治理而非单一扫描器决策。

Comments 10 pages, 1 figure, 7 tables, 1 supplimentary dataset

Dive into Ambiguity: A*-Inspired Multi-Agents Commonsense Obfuscation Attack on LLM Prompts

深入歧义：基于A*的多智能体常识混淆攻击LLM提示

Boxuan Wang, Zhuoyun Li, Xiaowei Huang, Yi Dong

机构 * University of Liverpool（利物浦大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 提出一种基于A*的事实错误诱导框架，通过层次化重写策略和动态语义分散系数生成语义对齐但混淆的提示，以高效攻击LLM的常识推理。

Comments Pre-print

IAG: Input-aware Backdoor Attack on VLM-based Visual Grounding

IAG: 基于输入感知的后门攻击针对VLM视觉定位

Junxian Li, Beining Xu, Simin Chen, Jiatong Li, Jingdi Lei, Haodong Zhao, Di Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Columbia University（哥伦比亚大学） ； Hong Kong Polytechnic University（香港理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.CL

AI总结 提出IAG方法，通过文本条件UNet动态生成输入感知的触发器，实现首个多目标后门攻击VLM视觉定位，在多个模型和基准上达到最佳攻击成功率且不影响正常性能。

Comments Accepted by CVPR 2026; Code is at https://github.com/lijunxian111/IAG

Journal ref https://openaccess.thecvf.com/content/CVPR2026/papers/Li_IAG_Input-aware_Backdoor_Attack_on_VLM-based_Visual_Grounding_CVPR_2026_paper.pdf