大模型对齐与安全

State-Dependent Safety Failures in Multi-Turn Language Model Interaction

多轮语言模型交互中的状态依赖性安全故障

Pengcheng Li, Jie Zhang, Tianwei Zhang, Han Qiu, Zhang kejun, Weiming Zhang, Nenghai Yu, Wenbo Zhou

机构 * School of Cyber Science and Technology, University of Science and Technology of China, China（中国科学技术大学信息科学与技术学院） ； Nanyang Technological University, Singapore（南洋理工大学） ； Tsinghua University, Beijing, China（清华大学） ； Beijing Electronic Science and Technology Institute, Beijing, China（北京电子科技研究所） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract_cn)；分类 cs.AI

AI总结 本文从状态空间视角研究多轮交互中的安全故障，提出STAR框架分析对话历史作为状态转移操作，揭示对齐模型在多轮交互中安全边界穿越的机制。

Comments 9 pages, accepted at the International Conference on Machine Learning (ICML) 2026

The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure

能力悖论：更聪明的审计员如何使多智能体系统更不安全

Qiqi Liu, Runhan Song, Shilin Ye

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） ； Henan Yinzhu Safety Technology Co., Ltd.（河南亿众安全技术有限公司） ； Harbin Institute of Technology, Faculty of Computing（哈尔滨工业大学计算机学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文研究了多智能体系统中，随着工人能力的提升，系统级攻击成功率反而上升的现象，揭示了语言确定性在攻击传播中的作用，并提出异质性集成验证作为解决方案，以降低攻击成功率。

Comments 28 pages, 6 figures