大模型对齐与安全

Beyond Safety Filtering: Control Barrier Function-Informed Reinforcement Learning for Connected and Automated Vehicles

超越安全过滤：基于控制屏障函数的强化学习用于连接和自动化车辆

Jianye Xu, Bassam Alrifaee

机构 * Department of Computer Science, RWTH Aachen University, Germany（德国亚琛工业大学计算机科学系） 纠错

专题命中 安全训练 ：safety(title)

AI总结 本文提出了一种基于控制屏障函数的多智能体强化学习奖励设计方法，通过将联合多智能体强化学习动作下的控制屏障函数约束值转化为奖励信号，以显式引导安全学习，并在四向多车道交叉口实验中验证了其在任务性能和对奖励超参数的鲁棒性方面优于传统启发式方法。

Comments This paper has been accepted for publication in the Proceedings of the 2026 IEEE International Conference on Intelligent Transportation Systems (ITSC 2026)

Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning

可区分删除：统一知识擦除与拒绝用于大语言模型去学习

Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

机构 * Department of Natural Language Processing, MBZUAI. ； University of Oxford. ； RIKEN Center for Advanced Intelligence Project. ； TMLR Group, Department of Computer Science, Hong Kong Baptist University 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出D^2方法，通过限制潜在表示中的响应分布来擦除不受欢迎的知识，同时区分保留知识，从而实现安全且一致的拒绝机制，以提高大语言模型去学习的效果。

Comments ICML2026 Accepted

State Contamination in Memory-Augmented LLM Agents

内存增强型大语言模型代理中的状态污染

Yian Wang, Agam Goyal, Yuen Chen, Hari Sundaram

机构 * Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了内存增强型大语言模型代理中由于状态污染导致的安全问题，通过分析内存总结中的毒性内容传播，提出了一种新的衡量指标，并指出在信息压缩前进行净化可以有效减少潜在影响。

Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

位置：一种三层概率性假设-保证架构在安全LLM代理部署中是结构上必需的

S. Bensalem, Y. Dong, M. Franzle, X. Huang, J. Kroger, D. Nickovic, A. Nouri, R. Roy, C. Wu

机构 * CSX-AI ； University of Liverpool（利物浦大学） ； Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西特齐克大学） ； Austrian Institute of Technology（奥地利技术研究院） ； Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出，单层抽象层内强制LLM代理安全并非仅仅是次优，而是结构性上不足以满足部署的LLM代理需求。安全操作的三个维度——语义意图和政策合规性、环境有效性以及动态可行性——各自依赖于在执行不同阶段才变得可用的信息集。没有单一的防护措施可以保证这三个维度。我们主张社区必须采用基于合同的架构，其中每个安全维度由独立认证的层强制执行，其概率保证满足下一层的假设。我们勾勒了这样的架构，并通过概率链规则推导出其允许的系统级安全界限。三个开放性问题阻碍着这一标准的实现：从非独立同分布轨迹中估计界限、在部署漂移下合同的渐进退化，以及向多代理设置的扩展——LLM代理运行时保证中最关键的未完成任务。

AMR-SD: Asymmetric Meta-Reflective Self-Distillation for Token-Level Credit Assignment

AMR-SD：不对称元反射自蒸馏用于标记级信用分配

Zhenlin Wei, Pu Jian, Yingzhuo Deng, Xiaohan Wang, Jiajun Chai, Zhexin Hu, Wei Lin, Shanbin Zhang, Guojun Yin

机构 * Meituan Beijing, China（美团北京，中国） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出AMR-SD，一种不对称元反射自蒸馏方法，旨在解决大型语言模型在复杂推理中因统一序列奖励导致的信用分配瓶颈问题，通过引入反思瓶颈和因果信息增益机制，实现更精确的标记级优势调节。

SafeLens: Deliberate and Efficient Video Guardrails with Fast-and-Slow Screening

SafeLens: 一种高效且可靠的视频护栏系统，采用快速和缓慢筛查

Shahriar Kabir Nahin, Hadi Askari, Muhao Chen, Anshuman Chhabra

机构 * University of South Florida（佛罗里达州立大学） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本研究提出SafeLens视频护栏框架，通过快速和缓慢的推理架构实现高效的视频内容审核，同时构建高质量数据集并采用结构化Chain-of-Thought追踪来解决训练时间扩展的限制，从而在实际和AI生成视频基准测试中取得最佳性能，同时显著降低推理成本。

Ensemble Monitoring for AI Control: Diverse Signals Outweigh More Compute

为AI控制的集束监控：多样信号胜过更多计算

Eugene Koran, Yejun Yun, Samantha Tetef, Benjamin Arnav, Pablo Bernabeu-Pérez

机构 * Yale University（耶鲁大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文研究了通过结合多种监控信号来提高AI行为检测的性能，发现多样性的监控集合比单一或同质的监控集合更有效，且细调的监控方法在检测能力上更具优势。

Adversarial Agent Collaboration for Correctness Improvements of C to Safe Rust Translation

对抗性代理协作提升C到安全Rust翻译的正确性

Tianyu Li, Ruishi Li, Bo Wang, Brandon Paulsen, Umang Mathur, Prateek Saxena

机构 * National University of Singapore（新加坡国立大学） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出ACToR框架，通过对抗性搜索发现翻译与C源码分歧的输入，利用这些输入驱动后续优化，提升C到Rust翻译的正确性，实验表明其在多个真实世界工具中达到90%以上的测试通过率。

LPG: Balancing Efficiency and Policy Reasoning in Latent Policy Guardrails

LPG: 在潜在策略护栏中平衡效率与政策推理

Nanxi Li, Zhengyue Zhao, Chaowei Xiao

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出LPG框架，通过学习动态政策的语义潜在推理，在保持高安全准确率的同时实现低延迟的政策执行。

Event-Grounded Sparse Autoencoders for Vision-Language-Action Policies

基于事件的稀疏自编码器用于视觉-语言-动作策略

Xinchen Jin, Aditya Chatterjee, Pranav Kumar, Rohan Paleja

机构 * Department of Computer Science, Purdue University West Lafayette, IN 47907（计算机科学系，普渡大学西拉法叶分校，印第安纳州，47907） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出了一种基于事件的稀疏自编码器（SAE）分析方法，用于视觉-语言-动作（VLA）策略的可解释性研究，通过行为事件锚定SAE特征分析，提升了对闭合回路行为的因果影响和可解释性。

Transformer-Based MCS Prediction for 5G Multicast-Broadcast Services (MBS)

基于Transformer的5G多播广播服务(MBS)的MCS预测

Kasidis Arunruangsirilert, Jiro Katto

机构 * Department of Computer Science and Communications Engineering（计算机科学与通信工程系） ； Waseda University（早稻田大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出了一种轻量级的基于Transformer的框架，用于预测即将到来的视频片段 horizon 上所有28个MCS指数的成功概率，以提高5G多播广播服务的可靠性。

Comments 2026 IEEE 104th Vehicular Technology Conference (VTC2026-Fall), 6-9 September 2026, Boston, Massachusetts, USA

Human-Certified Module Repositories for the AI Age

面向AI时代的可信模块仓库

Szilárd Enyedi

机构 * Automation Department, Technical University of Cluj-Napoca, Romania（克卢日-纳波卡技术大学自动化系，罗马尼亚） 纠错

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出HCMR框架，通过人类监督与自动化分析结合，确保模块的可信度，为AI辅助开发提供安全可预测的模块组装方法。

Comments v4: acknowledged AI use for grammar and readability, added IEEE copyright notice; v3: 13 pages, new subsection about strong typed languages forcing AI to create more reliable code; v2: 12 pages, improved references; v1: 11 pages, 3 figures, 2 tables, prepared for AQTR 2026

Babel: Jailbreaking Safety Attention via Obfuscation Distribution Optimized Sampling

Babel: 通过混淆分布优化采样实现安全机制的 jailbreak 安全性

Ziwei Wang, Jing Chen, Ruichao Liang, Zhi Wang, Yebo Feng, Ju Jia, Ruiying Du, Cong Wu, Yang Liu

机构 * Wuhan University（武汉大学） ； Nanyang Technological University（南洋理工大学） ； Southeast University（东南大学） ； University of Hong Kong（香港大学） 纠错

专题命中 越狱攻击 ：jailbreak(title_cn,summary_cn)；safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文研究了大语言模型安全机制中的内在漏洞，提出了一种高效的黑盒攻击框架Babel，通过系统性的混淆采样和反馈驱动的分布优化，实现了高成功率的jailbreak攻击，展示了在LLM安全研究中的稳健方法。

Evolve the Method, Not the Prompts: Evolutionary Synthesis of Jailbreak Attacks on LLMs

改进方法而非提示：针对大语言模型的进化式 jailbreak 攻击合成

Yunhao Chen, Xin Wang, Juncheng Li, Yixu Wang, Jie Li, Yan Teng, Yingchun Wang, Xingjun Ma

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 越狱攻击 ：jailbreak(title,title_cn)；red teaming(abstract)；分类 cs.CL

AI总结 本文提出 EvoSynth 框架，通过在代码空间中进行搜索，而非仅在提示空间中优化，从而提高对大语言模型的 jailbreak 攻击成功率和多样性。

Acoustic Interference: A New Paradigm Weaponizing Acoustic Latent Semantic for Universal Jailbreak against Large Audio Language Models

声学干扰：利用声学潜在语义进行通用劫持的新范式，针对大型音频语言模型

Yanyun Wang, Yu Huang, Zi Liang, Xixin Wu, Li Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong Polytechnic University（香港理工大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)

AI总结 本文提出了一种新的声学干扰方法，通过利用声学潜在语义对大型音频语言模型进行通用劫持，揭示了安全对齐的脆弱性。

Comments 43rd International Conference on Machine Learning (ICML'26)

From AI-Generated Content to Agentic Action: Security and Safety Threats in Generative AI

从AI生成内容到代理行为：生成式AI中的安全与安全威胁

Zelin Zhang, Qi Li, Jie Cao, Lingshuang Liu, Jianbing Ni

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)

AI总结 研究探讨生成式AI从内容生成转向执行操作带来的安全与安全威胁，分析攻击者需求、系统自主性及潜在危害的变化，并评估检测、水印、对齐等技术对策，指出当前治理机制无法提供必要的协调。

Comments Accepted by Journal of Information and Intelligence (JII)

Multilingual jailbreaking of LLMs using low-resource languages

使用低资源语言对LLM进行多语言劫持

Dylan Marx, Marcel Dunaiski

机构 * Computer Science Division, Mathematical Sciences Department（计算机科学系，数学科学系） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过使用低资源非洲语言进行多轮对话来测试大型语言模型的安全机制，发现翻译质量是影响低资源语言劫持成功率的关键因素。

Comments 12 pages, 5 figures

TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models

TAME: 通过混合专家架构实现视觉语言模型的测试时对抗提示调优

Xin Wang, Yixu Wang, Jiaming Zhang, Ruofan Wang, Jiaqi Yu, Kai Chen, Jingjing Chen, Xingjun Ma, Yu-Gang Jiang

机构 * Fellow, IEEE（IEEE会士） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)

AI总结 本文提出TAME，一种基于混合专家架构的测试时防御方法，旨在提升视觉语言模型在对抗扰动下的鲁棒性，同时保持对清洁样本的泛化能力。

Whispers in the Noise: Surrogate-Guided Concept Awakening via a Multi-Agent Framework

噪声中的低语：通过多智能体框架引导的代理觉醒

Mengyu Sun, Ziyuan Yang, Zunlong Zhou, Junxu Liu, Haibo Hu, Yi Zhang

机构 * Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电子与电气工程系） ； School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院） ； Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李科钦医学院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.AI

AI总结 本文研究了在黑盒约束下如何通过多智能体框架从预训练模型中恢复被擦除的概念，提出了一种无需训练的代理方法，通过引导噪声状态来实现可控的觉醒，展示了当前概念擦除方法的局限性。

A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM$Δ$ Integration into Upcycled MoE

多语言大语言模型的高效路径：通过后训练PARAM$Δ$整合到再利用MoE进行语言扩展

Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出了一种高效的方法，通过将密集模型转换为MoE架构，并将不同语言分配给不同专家，从而在不进行复杂对齐阶段的情况下提升多语言大语言模型的性能，同时保留原始能力。

Towards Universal Physical Adversarial Attacks via a Joint Multi-Objective and Multi-Model Optimization Framework

通过联合多目标和多模型优化框架实现通用物理对抗攻击

Ziyang Liu, Hongyuan Wang, Zijian Wang, Yinxi Lu, Yunzhao Zang, Zhiqiang Yan, Qianhao Ning

机构 * Research Center for Space Optical Engineering, Harbin Institute of Technology（哈尔滨工业大学空间光学工程研究中心） ； Zhengzhou Research Institute, Harbin Institute of Technology（郑州研究院，哈尔滨工业大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)

AI总结 本文提出了一种联合多目标和多模型优化框架（JMOF），通过定量相似性分析选择最优的替代模型集合，以解决物理对抗攻击中单个替代模型过拟合和优化目标的问题，同时通过双层机制平衡攻击效率与深度泛化，并通过正交梯度对齐策略解决跨模型梯度冲突，从而提升攻击效果和跨任务泛化能力。

Comments Under review

A Red Teaming Framework for Evaluating Robustness of AI-enabled Security Orchestration, Automation, and Response Systems

一种用于评估AI增强的安全编排、自动化和响应系统鲁棒性的红队框架

Ayan Javeed Shaikh, Nathaniel D. Bastian, Ankit Shah

专题命中 红队测试 ：red teaming(title,abstract)

AI总结 本文提出了一种结合大语言模型和强化学习的自主红队框架，用于评估企业网络中自主防御系统的鲁棒性，展示了单一LLM代理在多阶段攻击中的不足以及领域特定安全模型的局限性。

ADR: An Agentic Detection System for Enterprise Agentic AI Security

ADR：一种用于企业代理AI安全的代理检测系统

Chenning Li, Pan Hu, Justin Xu, Baris Ozbas, Olivia Liu, Caroline Van, Manxue Li, Wei Zhou, Mohammad Alizadeh, Pengyu Zhang, KK Sriramadhesikan, Ming Zhang

机构 * Uber 纠错

专题命中 红队测试 ：red teaming(abstract)；prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ADR系统，一种大规模、经过生产验证的企业框架，用于安全地管理通过模型上下文协议（MCP）运行的AI代理。该系统解决了三个关键问题：观测有限、鲁棒性不足和检测成本高，并通过三个组件实现了这些目标：ADR传感器、ADR探索器和ADR检测器。

Comments Accepted at MLSys 2026 (Industry Track)

Red-Bandit: Test-Time Adaptation for LLM Red-Teaming via Bandit-Guided LoRA Experts

Red-Bandit：通过带引导的LoRA专家实现LLM红队测试的测试时适应

Christos Ziakas, Nicholas Loo, Nishita Jain, Alessandra Russo

机构 * Imperial College London（伦敦帝国学院） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.CL

AI总结 本文提出Red-Bandit框架，通过带引导的LoRA专家在不同攻击风格下实现LLM的测试时适应，通过强化学习生成不安全提示，并利用多臂老虎机策略动态选择攻击风格专家，从而在AdvBench上取得最佳结果，同时生成更易读的提示。

Comments Accepted to the Main Conference at ACL 2026

STRIDE-AI: A Threat Modeling Framework for Generative AI Security Assessment

STRIDE-AI: 一种用于生成式AI安全评估的威胁建模框架

Tsafac Nkombong Regine Cyrille, Franziska Schwarz

机构 * SRH University of Applied Sciences Heidelberg School of Technology（海德堡应用科学大学技术与建筑学院） 纠错

专题命中 红队测试 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文提出STRIDE-AI框架，旨在填补高层风险标准与技术漏洞分类之间的差距，通过六个阶段的评估生命周期和针对AI系统的威胁建模适应，降低AI系统面临攻击的成功率。

Comments 4 pages, 5 figures , 2 tables, CIIT 2026 23rd International Conference on Informatics and Information Technologies (CIIT)

AI Agents May Always Fall for Prompt Injections

AI Agents May Always Fall for Prompt Injections

Sahar Abdelnabi, Eugene Bagdasarian

机构 * ELLIS Institute Tübingen & MPI-IS & Tübingen AI Center（图宾根ELLIS研究所及MPI-IS与图宾根人工智能中心） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 提示注入 ：prompt injection(title,title_cn)；alignment(abstract)；分类 cs.CL、cs.CY

AI总结 本文基于上下文完整性理论重新审视提示注入问题，揭示了现有防御机制的不足，并提出了一种新的评估框架来设计更安全的自主代理。

Remembering More, Risking More: Longitudinal Safety Risks in Memory-Equipped LLM Agents

记住更多，风险更多：具有记忆能力的LLM代理的纵向安全风险

Ahmad Al-Tawaha, Shangding Gu, Peizhi Niu, Ruoxi Jia, Ming Jin

机构 * Virginia Tech（弗吉尼亚理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 提示注入 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了具有记忆能力的LLM代理在长期任务中因记忆积累导致的安全风险，提出了一种触发-探测协议来评估记忆污染的影响，并发现记忆安全应被视为一个纵向属性而非单一状态属性。

An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments

通过提示注入在黑盒聊天机器人环境中研究隐私泄露链的实证研究

Hongjang Yang, Hyunsik Na, Daeseon Choi

机构 * Department of Information Security（信息安全系） ； Soongsil University（松山大学） ； AI Safety Center（人工智能安全中心） ； Department of AI Software（人工智能软件系） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文研究了通过间接提示注入在黑盒聊天机器人环境中存在的隐私泄露攻击链，分析了攻击者如何通过构造看似无害的外部内容来劫持代理任务，并评估了新的提示注入技术'exemplification'的攻击成功率，最终展示了使用虚构个人信息的证明概念数据外泄链。

Comments 9 pages, 2 figures

ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents

ASPI：寻求澄清会放大LLM代理中的提示注入漏洞

Udari Madhushani Sehwag, Zhengyang Shan, Heming Liu, Dileepa Lakshan, Joseph Brandifino, Max Fenkell

机构 * Scale AI ； Boston University（波士顿大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Human Frontier Collective（人类前沿集体） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 该研究探讨了LLM代理在执行任务时寻求澄清的行为对提示注入攻击的影响，发现这种行为会显著增加代理的脆弱性，并提出了ASPI基准测试来评估这一现象。

Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks

过度激进的编码代理：在良性任务中测量超出范围的动作

Yubin Qu, Ying Zhang, Yanjun Zhang, Gelei Deng, Yuekang Li, Leo Yu Zhang, Yi Liu

机构 * Griffith University（格里菲斯大学） ； Wake Forest University（威克森林大学） ； Nanyang Technological University（南洋理工大学） ； University of New South Wales（新南威尔士大学） ； Quantstamp 纠错

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出OverEager-Gen基准，用于评估编码代理在良性任务中超出范围的行为。研究发现，当基准中明确列出授权范围时，代理会停止推断边界并开始匹配声明文本，从而影响测量有效性。通过行为梯度验证器和双通道堆栈审计内部工具调用，验证了不同框架下的过度激进行为差异。