大模型对齐与安全

RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models

RASA：面向混合专家模型的路由感知安全对齐

Jiacheng Liang, Yuhui Wang, Tanqiu Jiang, Ting Wang

机构 * Department of XXX, University of YYY（YYY大学XXX系） ； School of ZZZ, Institute of WWW（WWW学院ZZZ学院） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 RASA通过针对性修复安全关键专家提升混合专家模型的安全性，有效防止路由绕过，实现高鲁棒性和跨攻击泛化能力。

Comments 9 pages

AttackEval: A Systematic Empirical Study of Prompt Injection Attack Effectiveness Against Large Language Models

AttackEval: 一种针对大语言模型的提示注入攻击有效性系统性实证研究

Jackson Wang

专题命中 越狱攻击 ：prompt injection(title,abstract)；safety(abstract)

AI总结 AttackEval系统性研究提示注入攻击有效性，揭示了Obfuscation攻击在对抗意图感知防御时的成功率最高，以及复合攻击策略显著提升攻击成功率，为改进大语言模型安全系统提供指导。

Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw

你的代理，他们的资产：OpenClaw的现实世界安全性分析

Zijun Wang, Haoqin Tu, Letian Zhang, Hardy Chen, Juncheng Wu, Xiangyan Liu, Zhenlong Yuan, Tianyu Pang, Michael Qizhe Shieh, Fengze Liu, Zeyu Zheng, Huaxiu Yao, Yuyin Zhou, Cihang Xie

机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； NUS（新加坡国立大学） ； Tencent（腾讯） ； ByteDance（字节跳动） ； UC Berkeley（加州大学伯克利分校） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文首次对OpenClaw进行现实世界安全性评估，引入CIK分类法分析代理的持久状态，发现攻击单个CIK维度可显著提高攻击成功率，强调需系统性保障个人AI代理的安全。

Do No Harm: Exposing Hidden Vulnerabilities of LLMs via Persona-based Client Simulation Attack in Psychological Counseling

勿伤人：通过基于人设的客户端模拟攻击暴露大语言模型的隐藏漏洞

Qingyang Xu, Yaling Shen, Stephanie Fong, Zimu Wang, Yiwen Jiang, Xiangyu Zhao, Jiahe Liu, Zhongxing Xu, Vincent Lee, Zongyuan Ge

机构 * Monash University（莫纳什大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出基于人设的客户端模拟攻击框架PCSA，通过模拟心理辅导中的客户端对话，揭示大语言模型在心理安全对齐方面的漏洞，实验表明其在七个通用和心理健康专用LLM上表现优于其他基线方法。

TraceGuard: Structured Multi-Dimensional Monitoring as a Collusion-Resistant Control Protocol

TraceGuard：结构化多维监控作为抗合谋的控制协议

Khanh Linh Nguyen, Hoa Nghiem, Tu Tran

机构 * Independent Researchers（独立研究人员） ； Apart Research 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出TraceGuard，一种结构化多维监控协议，通过五个维度评估代理行为，结合LLM调用和启发式检测器，有效区分攻击与诚实行为，防止合谋攻击。

Mapping the Exploitation Surface: A 10,000-Trial Taxonomy of What Makes LLM Agents Exploit Vulnerabilities

映射利用表面：一种10000次试验的分类，揭示使LLM代理利用漏洞的因素

Charafeddine Mouzouni

机构 * OPIT -- Open Institute of Technology（OPIT——开放理工学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过10000次试验分析系统提示特征对LLM代理利用漏洞的影响，发现目标重构是唯一可靠触发因素，其他维度在特定条件下未产生显著利用。

Comments 18 pages, 8 tables, code and data at https://github.com/Cmouzouni/exploitation-surface

Fewer Weights, More Problems: A Practical Attack on LLM Pruning

更少的权重，更多的问题：对LLM剪枝的一种实用攻击

Kazuki Egashira, Robin Staab, Thibaud Gloaguen, Mark Vero, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 本文首次揭示了现代LLM剪枝方法可能被恶意利用的问题，通过构造看似无害的模型，在剪枝后表现出恶意行为，展示了剪枝过程中的安全风险。

Comments ICLR 2026. Code: https://github.com/eth-sri/llm-pruning-attack

Automating Cloud Security and Forensics Through a Secure-by-Design Generative AI Framework

通过安全设计的生成AI框架实现云安全与取证自动化

Dalal Alharthi, Ivan Roberto Kawaminami Garcia

机构 * University of Arizona（亚利桑那大学） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一个安全设计的生成AI框架，结合PromptShield和CIAF，提升云环境中的安全性和取证准确性，通过实验证明在攻击条件下分类性能和勒索软件检测精度显著提升。

Comments arXiv admin note: substantial text overlap with arXiv:2510.00452

Towards Unveiling Vulnerabilities of Large Reasoning Models in Machine Unlearning

面向揭示大规模推理模型在机器反向学习中的漏洞

Aobo Chen, Chenxu Zhao, Chenglin Miao, Mengdi Huai

机构 * Iowa State University（爱荷华州立大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.LG

AI总结 本文研究大规模推理模型在机器反向学习中的安全漏洞，提出一种能生成误导性推理轨迹的攻击方法，并通过白盒和黑盒实验验证其有效性。

CoopGuard: Stateful Cooperative Agents Safeguarding LLMs Against Evolving Multi-Round Attacks

CoopGuard：基于协作代理的有状态多轮防御框架用于抵御LLM的演变攻击

Siyuan Li, Zehao Liu, Xi Lin, Qinghua Mao, Yuliang Chen, Haoyu Li, Jun Wu, Jianhua Li, Xiu Su

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） ； Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系） ； Big Data Institute, Central South University（中南大学大数据研究院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文提出CoopGuard，通过协作代理维护和更新内部防御状态，有效应对多轮演变攻击。实验显示其在攻击成功率、欺骗率和攻击效率上均优于现有方法。

Exposing the Ghost in the Transformer: Abnormal Detection for Large Language Models via Hidden State Forensics

揭示Transformer中的幽灵：通过隐藏状态取证实现大语言模型的异常检测

Shide Zhou, Kailong Wang, Ling Shi, Haoyu Wang

专题命中 越狱攻击 ：jailbreak(abstract)

AI总结 本文提出通过隐藏状态取证检测大语言模型异常行为，实现实时高效的安全威胁识别，检测准确率超95%，计算开销极低。