大模型对齐与安全

Helpful to a Fault: Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents

有益于故障：测量多轮、多语言LLM代理中的非法协助

Nivya Talokar, Ayush K Tarun, Murari Mandal, Maksym Andriushchenko, Antoine Bosselut

机构 * EPFL（苏黎世联邦理工学院） ； independent（独立研究员） ； tubingen（图宾根大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出STING框架，用于评估多轮多语言LLM代理在执行非法任务时的协助能力，发现低资源语言中攻击成功率不一致，提供实际部署中的压力测试方法。

Comments Accepted in ICML 2026

AI Agents Enable Adaptive Computer Worms

AI代理实现自适应计算机蠕虫

Jonas Guan, Tom Blanchard, Hanna Foerster, Hengrui Jia, Gabriel Huang, Nicolas Papernot

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； University of Cambridge（剑桥大学） ； ServiceNow 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本研究展示了AI代理能够生成针对每个目标的定制攻击策略，利用被感染机器上的大语言模型自我维持并传播，形成自持的AI驱动网络威胁。

Same Payload, Different Channel: Measuring Trust Asymmetry in Tool-Using Language Models

相同载荷，不同通道：测量使用工具的語言模型中的信任不对称性

Mohammed Sameer Syed, Rozhin Yasaei

机构 * University of Arizona（亚利桑那大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出安全不对称分数（SAS），通过匹配恶意载荷仅改变传递上下文，系统测量了语言模型在不同通道（用户消息、工具元数据、工具输出）中对对抗性内容的脆弱性差异，发现代理原生模型在工具描述通道更脆弱，而通用模型相反，且机制研究表明安全相关表示在深层网络非线性编码。

Comments 13 pages, 1 figure. Submitted to EMNLP 2026

Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs

Claudini: 自动研究发现针对LLM的最先进对抗攻击算法

Alexander Panfilov, Peter Romov, Igor Shilov, Yves-Alexandre de Montjoye, Jonas Geiping, Maksym Andriushchenko

机构 * MATS ELLIS Institute（MATS ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Tübingen AI Center（图宾根人工智能中心） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种自动研究循环，利用前沿AI代理（如Claude Code和Codex）自动发现针对大语言模型的新型对抗攻击算法，在白盒越狱和提示注入评估中达到最先进水平。

VERA: Variational Inference Framework for Jailbreaking Large Language Models

VERA：用于越狱大型语言模型的变分推理框架

Anamika Lochab, Lu Yan, Patrick Pynadath, Xiangyu Zhang, Ruqi Zhang

机构 * Department of Computer Science, Purdue University（计算机科学系，普渡大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 提出VERA框架，将黑盒越狱提示生成视为变分推理问题，训练小型攻击者LLM近似目标LLM的对抗提示后验，无需重新优化即可生成多样且流畅的越狱提示。

Comments Accepted by NeurIPS 2025

Dual Mechanisms of Value Expression: Intrinsic vs. Prompted Values in Large Language Models

价值表达的双重机制：大型语言模型中的内在价值与提示价值

Jongwook Han, Jongwon Lim, Injin Kong, Yohan Jo

机构 * Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过价值向量和价值神经元分析，揭示大型语言模型中内在价值表达与提示价值表达在机制上部分共享核心组件，但各自拥有独特功能，内在机制促进多样性，提示机制增强指令遵从。

Comments Accepted at ICML 2026. Project page: https://holi-lab.github.io/ValueMechanism/

SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents

SNARE: 自适应场景合成以诱发编码代理中的过度行为

Yubin Qu, Yi Liu, Gelei Deng, Yanjun Zhang, Yuekang Li, Ying Zhang, Leo Yu Zhang

机构 * Griffith University（格里菲斯大学） ； Quantstamp ； Nanyang Technological University（南洋理工大学） ； UNSW Sydney（悉尼大学） ； Wake Forest University（卫斯理大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 提出SNARE流水线，通过组合良性场景片段并使用无评判器预言机评分与汤普森采样，自适应地诱发编码代理的过度行为，并在4×5代理-模型矩阵上评估，发现19.51%的良性运行触发过度行为，且代理框架比模型影响更大。

One Step to the Side: Why Defenses Against Malicious Finetuning Fail Under Adaptive Adversaries

一步之遥：为什么针对恶意微调的防御在自适应对手面前失败

Itay Zloczower, Eyal Lenga, Gilad Gressel, Yisroel Mirsky

机构 * Ben-Gurion University of the Negev（贝纳-约瑟夫大学） ； Amrita Vishwa Vidyapeetham（阿米塔维莎瓦迪耶佩塔） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过分析15种近期防御机制，发现它们共享一个弱点：仅掩盖或误导有害行为路径而未消除行为本身，并开发了一种统一的自适应攻击，成功突破了所有防御机制。

Comments Under review

GradingAttack: Exposing Security Vulnerabilities in LLM Based Educational Grading Agents

GradingAttack: 揭示基于LLM的教育评分代理中的安全漏洞

Xueyi Li, Zhuoneng Zhou, Zitao Liu, Yongdong Wu

机构 * Guangdong Institute of Smart Education（广东智能教育研究院） ； Jinan University（济南大学） 纠错

专题命中 越狱攻击 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 提出GradingAttack框架，通过token级和prompt级对抗攻击策略，系统评估基于LLM的教育评分代理的安全漏洞，发现其缺乏鲁棒防御。

The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems

归因偏差：当记忆中毒在自主AI系统中看起来像模型失败时

Tanzim Ahad, Ismail Hossain, Md Jahangir Alam, Sai Puppala, Syed Bahauddin Alam, Sajedul Talukder

机构 * Department of Computer Science, University of Texas at El Paso（德克萨斯大学埃尔帕索分校计算机科学系） ； School of Computing, Southern Illinois University Carbondale（南方伊利诺伊大学卡本代尔分校计算机学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文识别了多智能体AI系统中的“归因偏差”问题，即记忆层攻击导致的行为与模型失败无法区分，并形式化了“语义规范漂移”（SND）作为第三种不当行为路径，提出了反事实组合测试和记忆持久信息流控制等防御方法。

Comments This paper is presently under review at a top-tier security venue

Trusted Weights, Treacherous Optimizations? Optimization-Triggered Backdoor Attacks on LLMs

可信的权重，危险的优化？针对大语言模型的优化触发后门攻击

Yifei Wang, Tianlin Li, Xiaohan Zhang, Yida Yang, Xiaoyu Zhang, Li Pan

机构 * Shanghai Jiao Tong University（上海交通大学） ； Beihang University（北京航空航天大学） ； Tongji University（同济大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种利用编译优化过程植入隐蔽后门的攻击方法，通过两种互补策略在无需修改编译器或硬件的情况下，实现对大语言模型的后门攻击，并展示了其在多个开源大语言模型上的高成功率。

Comments 20 pages, 3 figures

Detecting Fluent Optimization-Based Adversarial Prompts via Sequential Entropy Changes

通过顺序熵变化检测基于优化的对抗性提示

Mohammed Alshaalan, Miguel R. D. Rodrigues

机构 * Department of Electronic and Electrical Engineering, University College London, London, United Kingdom（电子与电气工程系，伦敦大学学院，伦敦，英国） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于在线变化点检测的对抗性后缀检测方法CPD，通过标准化用户令牌熵并应用单侧CUSUM统计量，提高了对优化基于对抗性提示的检测性能，同时在多个大型语言模型上实现了更高的F1分数和AUC性能。

Comments Accepted at ICML 2026; 20 pages, including 9 pages main text, references, and appendix

OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences

OEP: 通过局部正确但不可转移的经验污染自演化LLM代理

Kaixiang Wang, Jiong Lou, Zhaojiacheng Zhou, Jie Li

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了通过局部正确但不可转移的经验污染自演化LLM代理的安全风险，提出OEP攻击方法，利用低权限黑盒攻击在无需直接控制系统提示或记忆数据库的情况下诱导有害泛化。

Red-Teaming Text-to-Image Models via In-Context Experience Replay and Semantic-Preserving Prompt Rewriting

通过上下文经验回放和语义保留提示重写对文本到图像模型进行红队测试

Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

机构 * CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全中心） ； IBM Research（IBM 研究院） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出ICER框架，通过提示重写和上下文经验回放生成流畅的对抗性提示，有效提升图像生成模型的安全性测试能力，实验表明其在多个安全机制上优于现有方法。

Comments The source code is available at https://github.com/zhiyichin/ICER

LLM-Agnostic Semantic Representation Attack

不依赖特定大语言模型的语义表示攻击

Jiawei Lian, Jianhong Pan, Lefan Wang, Yi Wang, Tairan Huang, Shaohui Mei, Lap-Pui Chau

机构 * JC STEM Lab of Machine Learning and Computer Vision（机器学习与计算机视觉的JC STEM实验室） ； Hong Kong Jockey Club Charities Trust（香港赛马会慈善信托基金） ； Global STEM Professorship Scheme of the Hong Kong Special Administrative Region (SAR)（香港特别行政区（SAR）的全球STEM教授计划） ； National Natural Science Foundation of China（中国国家自然科学基金委员会） ； Northwestern Polytechnical University（西北工业大学） ； The Hong Kong Polytechnic University（香港理工大学） ； School of Electronics and Information（电子与信息学院） ； Department of Electrical and Electronic Engineering（电气与电子工程系） ； Hong Kong Institute of AI for Science（香港人工智能科学研究院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出语义表示攻击(SRA)，通过重新定义对抗目标从精确文本到恶意语义，解决传统方法的收敛性、提示自然性和跨模型泛化问题，实现99.71%的攻击成功率。

Comments arXiv admin note: substantial text overlap with arXiv:2509.19360

Jailbreaking Frontier Foundation Models Through Intention Deception

通过意图欺骗突破前沿基础模型

Xinhe Wang, Katia Sycara, Yaqi Xie

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种多轮欺骗方法，通过模拟良性意图和模型一致性，引导模型生成有害输出，并揭示了未被注意到的para-jailbreaking漏洞。

Comments Accepted at CVPR 2026 Findings Track

AVISE: Framework for Evaluating the Security of AI Systems

AVISE：人工智能系统安全性的评估框架

Mikko Lempinen, Joni Kemppainen, Niklas Raesalmi

机构 * University of Oulu（奥卢大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出AVISE框架，用于识别和评估人工智能系统安全漏洞，通过改进的Red Queen攻击和自动化安全测试发现语言模型的逃逸漏洞，展示了框架的高效性和广泛适用性。

Comments Fixed LaTex label command typos in Tables 8 and 9; fixed minor typos

Semantic Intent Fragmentation: A Single-Shot Compositional Attack on Multi-Agent AI Pipelines

语义意图碎片化：一种针对多智能体AI流水线的单次组合攻击

Tanzim Ahad, Ismail Hossain, Md Jahangir Alam, Sai Puppala, Yoonpyo Lee, Syed Bahauddin Alam, Sajedul Talukder

机构 * Department of Computer Science, University of Texas at El Paso（德克萨斯理工大学计算机科学系） ； School of Computing, Southern Illinois University Carbondale（南方伊利诺伊大学卡本代尔分校计算机学院） ； Hanyang University（翰阳大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出语义意图碎片化攻击，通过单个合法请求导致任务分解为看似无害但联合违反安全策略的子任务，利用OWASP LLM06:2025框架实现无注入内容、无系统修改的攻击，验证了组合安全漏洞的可修复性。

Comments This paper got accepted for AAAI 2026 Summer Symposium

Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

监视权重：无监督的细调大语言模型监控与控制

Ziqian Zhong, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过监控权重而非激活值来理解、监控和控制细调的大语言模型，能高精度检测细调引入的新行为，并在防回火攻击和模型去学习中表现出色。

Comments Published as a conference paper at ICLR 2026

Mapping the Exploitation Surface: A 10,000-Trial Taxonomy of What Makes LLM Agents Exploit Vulnerabilities

映射利用表面：一种10000次试验的分类，揭示使LLM代理利用漏洞的因素

Charafeddine Mouzouni

机构 * OPIT -- Open Institute of Technology（OPIT——开放理工学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过10000次试验分析系统提示特征对LLM代理利用漏洞的影响，发现目标重构是唯一可靠触发因素，其他维度在特定条件下未产生显著利用。

Comments 18 pages, 8 tables, code and data at https://github.com/Cmouzouni/exploitation-surface

Fewer Weights, More Problems: A Practical Attack on LLM Pruning

更少的权重，更多的问题：对LLM剪枝的一种实用攻击

Kazuki Egashira, Robin Staab, Thibaud Gloaguen, Mark Vero, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 本文首次揭示了现代LLM剪枝方法可能被恶意利用的问题，通过构造看似无害的模型，在剪枝后表现出恶意行为，展示了剪枝过程中的安全风险。

Comments ICLR 2026. Code: https://github.com/eth-sri/llm-pruning-attack

Automating Cloud Security and Forensics Through a Secure-by-Design Generative AI Framework

通过安全设计的生成AI框架实现云安全与取证自动化

Dalal Alharthi, Ivan Roberto Kawaminami Garcia

机构 * University of Arizona（亚利桑那大学） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一个安全设计的生成AI框架，结合PromptShield和CIAF，提升云环境中的安全性和取证准确性，通过实验证明在攻击条件下分类性能和勒索软件检测精度显著提升。

Comments arXiv admin note: substantial text overlap with arXiv:2510.00452

Supply-Chain Poisoning Attacks Against LLM Coding Agent Skill Ecosystems

针对LLM编码代理技能生态系统的供应链污染攻击

Yubin Qu, Yi Liu, Tongcheng Geng, Gelei Deng, Yuekang Li, Leo Yu Zhang, Ying Zhang, Lei Ma

机构 * Griffith University（格里菲斯大学） ； The State Information Center（国家信息中心） ； Nanyang Technological University（南洋理工大学） ； University of New South Wales（新南威尔士大学） ； Wake Forest University（维克森林大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了LLM编码代理技能生态系统中供应链攻击对行动空间的影响，提出DDIPE方法通过嵌入恶意逻辑到技能文档中实现隐式payload执行，实验显示其在强防御下可绕过11.6%-33.5%。

LogicPoison: Logical Attacks on Graph Retrieval-Augmented Generation

逻辑毒药：图检索增强生成中的逻辑攻击

Yilin Xiao, Jin Chen, Qinggang Zhang, Yujing Zhang, Chuang Zhou, Longhao Yang, Lingfei Ren, Xin Yang, Xiao Huang

机构 * Southwestern University of Finance and Economics（西南财经大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LogicPoison攻击框架，通过逻辑推理而非注入虚假内容，破坏图检索增强生成系统中的拓扑结构，从而降低其性能。

Hidden Ads: Behavior Triggered Semantic Backdoors for Advertisement Injection in Vision Language Models

隐性广告：用于视觉语言模型中广告注入的行为触发语义后门

Duanyi Yao, Changyue Li, Zhicong Huang, Cheng Hong, Songze Li

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出隐性广告攻击，通过用户行为触发在视觉语言模型中注入未经授权的广告，利用自然用户行为实现高效且隐蔽的广告注入，同时评估了不同防御方法的失效性。

T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search

T-MAP: 通过轨迹感知的进化搜索实现红队攻击LLM代理

Hyomin Lee, Sangwoo Park, Yumin Choi, Sohyun An, Seanie Lee, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出T-MAP方法，通过轨迹感知的进化搜索发现对抗性提示，有效突破安全防护并实现有害目标，实验显示其在攻击实现率上优于基线方法，适用于多步骤工具执行的LLM代理安全测试。

Detection of adversarial intent in Human-AI teams using LLMs

利用大语言模型检测人类-人工智能团队中的对抗意图

Abed K. Musaffar, Ambuj Singh, Francesco Bullo

机构 * Department of Mechanical Engineering, University of California at Santa Barbara（加州大学圣巴巴拉分校机械工程系） ； Department of Computer Science, University of California at Santa Barbara（加州大学圣巴巴拉分校计算机科学系） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大语言模型在人类-人工智能团队中作为防御监督者的潜力，通过分析交互痕迹检测恶意行为，发现LLM能实时识别恶意行为，且无需任务特定信息，表明了任务无关防御的可能性。

When Prompt Optimization Becomes Jailbreaking: Adaptive Red-Teaming of Large Language Models

当提示优化成为劫持：大型语言模型的自适应红队测试

Zafir Shamsi, Nikhil Chekuru, Zachary Guzman, Shivank Garg

机构 * Algoverse AI Research（Algoverse AI研究院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了大型语言模型在对抗性提示优化下的安全性漏洞，通过自适应红队测试发现开源小模型的安全保障显著降低，表明静态评估无法准确反映真实风险。

Comments EACL SRW 2026, Oral

Amnesia: Adversarial Semantic Layer Specific Activation Steering in Large Language Models

遗忘：大型语言模型中的对抗性语义层特定激活引导

Ali Raza, Gurang Gupta, Nikolay Matyunin, Jibesh Patra

机构 * Honda Research Institute Europe（本田欧洲研究院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Amnesia攻击，通过操纵transformer内部状态绕过开放式大语言模型的安全机制，展示其能生成有害内容而无需微调。研究强调了对开放式大语言模型安全性的迫切需求。

Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols

对可信监控的自适应攻击颠覆AI控制协议

Mikhail Terekhov, Alexander Panfilov, Daniil Dzenhaliou, Caglar Gulcehre, Maksym Andriushchenko, Ameya Prabhu, Jonas Geiping

机构 * MATS ； EPFL（瑞士联邦理工学院） ； ELLIS Institute Tübingen & Max Planck Institute for Intelligent Systems（图宾根ELLIS研究所及图宾根马克斯·普朗克智能系统研究所） ； Tübingen AI Center（图宾根人工智能中心） ； University of Tübingen（图宾根大学） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出针对AI控制协议中监控模型的自适应攻击方法，通过嵌入提示注入技术规避监控并完成恶意任务，揭示了当前控制协议的安全漏洞。