大模型对齐与安全

An Empirical Study of Multi-Generation Sampling for Jailbreak Detection in Large Language Models

多代采样在大型语言模型 jailbreak 检测中的实证研究

Hanrui Luo, Shreyank N Gowda

机构 * University of Nottingham（诺丁汉大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,title_cn)；alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过JailbreakBench数据集和多种生成模型，评估了基于输出的jailbreak检测方法，发现单输出评估低估了模型漏洞，多代采样能更准确检测有害行为。

Beyond Linear Probes: Dynamic Safety Monitoring for Language Models

超越线性探测：语言模型的动态安全监控

James Oldfield, Philip Torr, Ioannis Patras, Adel Bibi, Fazl Barez

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； University of Oxford（牛津大学） ； WhiteBox ； Martian 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出Truncated Polynomial Classifiers (TPCs)，通过动态激活监控提升安全性能，实现灵活的成本控制，在有害提示分类中表现优异且更具可解释性。

Comments ICLR 2026; Minor revisions and clarifications

Semantic Intent Fragmentation: A Single-Shot Compositional Attack on Multi-Agent AI Pipelines

语义意图碎片化：一种针对多智能体AI流水线的单次组合攻击

Tanzim Ahad, Ismail Hossain, Md Jahangir Alam, Sai Puppala, Yoonpyo Lee, Syed Bahauddin Alam, Sajedul Talukder

机构 * Department of Computer Science, University of Texas at El Paso（德克萨斯理工大学计算机科学系） ； School of Computing, Southern Illinois University Carbondale（南方伊利诺伊大学卡本代尔分校计算机学院） ； Hanyang University（翰阳大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出语义意图碎片化攻击，通过单个合法请求导致任务分解为看似无害但联合违反安全策略的子任务，利用OWASP LLM06:2025框架实现无注入内容、无系统修改的攻击，验证了组合安全漏洞的可修复性。

Comments This paper got accepted for AAAI 2026 Summer Symposium

Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

监视权重：无监督的细调大语言模型监控与控制

Ziqian Zhong, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过监控权重而非激活值来理解、监控和控制细调的大语言模型，能高精度检测细调引入的新行为，并在防回火攻击和模型去学习中表现出色。

Comments Published as a conference paper at ICLR 2026

Breaking the Illusion: Consensus-Based Generative Mitigation of Adversarial Illusions in Multi-Modal Embeddings

打破幻觉：基于共识的生成对抗多模态嵌入中对抗性幻觉的缓解

Fatemeh Akbarian, Anahita Baninajjar, Yingyi Zhang, Ananth Balashankar, Amir Aminifar

机构 * Lund University（隆德大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出一种任务无关的缓解机制，利用生成模型恢复多模态嵌入的自然对齐，通过生成采样策略和共识聚合方案提升防御效果，实验显示其显著降低对抗性幻觉攻击成功率。

Beyond Explicit Refusals: Soft-Failure Attacks on Retrieval-Augmented Generation

超越显式拒绝：针对检索增强生成的软故障攻击

Wentao Zhang, Yan Zhuang, ZhuHang Zheng, Mingfei Zhang, Jiawen Deng, Fuji Ren

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shenzhen Institute for Advanced Study（深圳先进研究所） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文提出DEJA攻击框架，通过进化优化生成对抗文档，诱导系统产生非信息性但流畅的响应，降低回答确定性，实验显示其在多个RAG配置中有效，SASR超过79%。

Comments 22 pages, Accepted to the ACL 2026 Main Conference

Benchmarking Misuse Mitigation Against Covert Adversaries

对抗隐蔽攻击的误用缓解基准测试

Davis Brown, Mahdi Sabbaghi, Luze Sun, Alexander Robey, George J. Pappas, Eric Wong, Hamed Hassani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文提出BSD基准测试，用于评估对抗隐蔽攻击的防御策略，通过生成两个拒绝前沿模型的难数据集，揭示分解攻击的有效性及状态化防御的潜力。

Visual Adversarial Attack on Vision-Language Models for Autonomous Driving

面向自动驾驶的视觉对抗攻击研究

Tianyuan Zhang, Lu Wang, Xinwei Zhang, Yitong Zhang, Boyi Jia, Siyuan Liang, Shengshan Hu, Qiang Fu, Aishan Liu, Xianglong Liu

机构 * Beihang University（北航） ； National University of Singapore（国立新加坡大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 越狱攻击 ：safety(abstract)

AI总结 本文提出ADvLM框架，针对自动驾驶中视觉语言模型的特殊需求，解决文本指令变异性和视觉场景时间序列性问题，实现高效对抗攻击。

Comments Accepted by Machine Intelligence Research