大模型对齐与安全

Safety in Self-Evolving LLM Agent Systems: Threats, Amplification, and Case Studies

自进化LLM智能体系统中的安全性：威胁、放大与案例研究

Ruixiao Lin, Xinhao Deng, Qingming Li, Jianan Ma, Yunhao Feng, Yuqi Qing, Zhenyuan Li, Yechao Zhang, Shiwen Cui, Changhua Meng, Tianwei Zhang, Xingjun Ma, Qi Li, Ke Xu, Shouling Ji

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Tsinghua University（清华大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学） 纠错

专题命中 越狱攻击 ：safety(title)；分类 cs.AI

AI总结 本文系统分析自进化LLM智能体系统的安全威胁，提出模块-生命周期攻击面矩阵，揭示17个关键威胁和7种跨模块放大效应，并通过案例证明进化设计激活3.5倍攻击面且静态防御失效。

OTTER: A Red-Teaming System for Toxicity-Evading Jailbreak Prompt Optimization

OTTER：一种用于规避毒性检测的越狱提示优化的红队系统

Jerry Wang, Hsin-Ling Hsu, Yi-Cheng Lai, Nai-Chia Chen, Fang Yu

机构 * National Chengchi University, Taipei, Taiwan（国立中正大学，台北，台湾） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 越狱攻击 ：jailbreak(title)；分类 cs.CL

AI总结 提出OTTER系统，通过替换少量令牌解耦表面毒性与对抗意图，在四个GPT模型上将平均攻击成功率从7.0%提升至84.0%，并首次量化分析毒性-绕过关系。

When Compression Becomes an Attack Surface: Black-Box Attacks on Prompt-Compressed LLM Agents

当压缩成为攻击面：针对提示压缩的LLM智能体的黑盒攻击

Zesen Liu, Zhixiang Zhang, Yuchong Xie, Dongdong She

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 提出当可信与不可信输入共享压缩预算时，攻击者可通过扰动不可信输入导致压缩器丢弃关键证据或安全护栏，并设计黑盒攻击COMA，平均攻击成功率达0.71。

TROPT: An Open Framework for Unifying and Advancing Discrete Text Optimization

TROPT：统一和推进离散文本优化的开放框架

Matan Ben-Tov, Mahmood Sharif

机构 * Tel Aviv University（特拉维夫大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.LG

AI总结 提出TROPT，首个统一离散优化器执行与开发的开源框架，支持30+优化方案，降低应用门槛并促进新策略研究。

On-Device Interpretable Tsetlin Machine-Based Intrusion Detection for Secure IoMT

设备端可解释的基于Tsetlin机的入侵检测系统用于安全的物联网医疗设备

Rahul Jaiswal, Per-Arne Andersen, Linga Reddy Cenkeramaddi, Lei Jiao, Ole-Christoffer Granmo

机构 * Department of ICT, University of Agder, Norway（阿格德大学信息与通信技术系） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG

AI总结 本文提出了一种基于Tsetlin机的设备端可解释入侵检测系统，用于IoMT环境中的入侵检测，通过逻辑规则和特征贡献提升透明度和性能，达到97.83%的分类准确率。

Comments 8 pages, 11 figures, 7 tables, accepted at the IEEE Intelligent Conference on Intelligence and Security Informatics (ISI-2026), Cambridge, UK

Agent-Assisted Side-Channel Attacks on Non-Prefix KV Cache in RAG

代理辅助的非前缀KV缓存侧信道攻击

He Sun, Shinan Liu, Siyuan Ma, Junhao Li, Mingjun Xiao, Wenhao Jiang

专题命中 越狱攻击 ：alignment(abstract)

AI总结 针对RAG系统中非前缀KV缓存融合的侧信道漏洞，提出SpliceLeak攻击，利用“阶梯波”时序特征提取私有提示长度和语义内容，并设计SpliceDefense防御机制。

Comments 15 pages, 8 figures