大模型对齐与安全

SafeHarbor: Defining Precise Decision Boundaries via Hierarchical Memory-Augmented Guardrail for LLM Agent Safety

SafeHarbor：用于LLM智能体安全的分层记忆增强防护栏

Zhe Liu, Zonghao Ying, Wenxin Zhang, Quanchen Zou, Deyue Zhang, Dongdong Yang, Xiangzheng Zhang, Hao Peng

机构 * School of Cyber Science and Technology, Beihang University, Beijing, China（北京航空航天大学网络安全学院） ； Institute of Artificial Intelligence, Beihang University, Beijing, China（北京航空航天大学人工智能研究院） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； AI Security Lab, Beijing, China（360人工智能安全实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出SafeHarbor框架，通过分层记忆系统和信息熵自进化机制，在保持高安全拒绝率的同时提升对良性请求的响应能力。

Comments Accepted by ICML 2026

X$^3$-OPD: Distilling Reasoning into Large Audio-Language Models via On-Policy Alignment

X³-OPD：通过策略对齐将推理能力提炼到大型音频-语言模型中

Dongjie Fu, Di Cao, Xize Cheng, Zihan Zhang, Wenxu Jia, Yifu Chen, Shengpeng Ji, Yu Zhang, Tao Jin

机构 * Tencent Hunyuan（腾讯混元） ； Zhejiang University（浙江大学） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.LG

AI总结 针对大型音频-语言模型逻辑推理能力不足，提出X³-OPD跨模态策略蒸馏框架，借助教师模型指导与构建的三层对称语料库训练学生模型，实验证明该方法能提升音频推理及思维链质量，还能保留模型域转移下的能力。

Simple Policy Gradients for Reasoning with Diffusion Language Models

为扩散语言模型进行推理的简单策略梯度

Anthony Zhan

机构 * Stanford University（斯坦福大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出 AGRPO 算法，通过优化 dLLM 的去噪步骤提升推理性能，实现多个任务上的显著增益。

Comments 19 pages. ICML 2026

Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling

拒绝门控解码：在高温采样下保留拒绝行为

Phillip Howard, Xin Su, Allen Roush, Manikandan Ravikiran, Amir Abdullah

机构 * Thoughtworks 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究高温采样下大语言模型拒绝行为受温度影响的问题，提出顺序解码方法，能在高温时保留模型贪婪解码拒绝响应且延迟小，经实验在三个基准数据集上保留91 - 99%的拒绝行为，不影响安全提示高温响应。

OPIUM: Mitigating Steering Externalities and Over-Refusal via Dual Objective Latent Optimization

OPIUM：通过双目标潜在优化减轻引导外部性和过度拒绝

Kavin Aravindan, Arihant Rastogi, Krishak Aneja, Aadi Prasad, Saiyam Jain, Vaishnavi Shivkumar, Ponnurangam Kumaraguru

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究激活引导向量存在的外部性问题，提出无训练方法OPIUM，通过表示匹配净化引导向量，在给定参考行为下优化新向量，改善安全与效用权衡，减轻激活引导的有害副作用。

Comments Accepted to the Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning (ICML 2026)

When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation

基于推理的防护栏何时效率不高？ResponseGuard：用于实时审核的快速视觉语言防护工具

Dongbin Na

机构 * POSTECH（浦项科技大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究视觉语言防护栏筛查回复是否需推理，提出无链式推理的ResponseGuard，通过对请求、回复和图像的单一合并表示一次前向传递读取有害裁决，在回复有害性检测上优于基于推理的防护栏，且时间成本低，还发现了差距原因及推理防护栏注意力问题。

Comments 8 pages, 6 figures, 3 tables. Project page: https://ndb796.github.io/ResponseGuard ; Code: https://github.com/ndb796/ResponseGuard

GuardianAgentBench: Where Agents Fail and How to Guard Them

GuardianAgentBench：智能体何处失败及如何防范

Vishal Ishwar Naik, Chenyu Xu, Donna Dong, Hussein Hassan, Abhishek Pradhan, Ofer Mendelevitch, Tallat Shafat, Humayun Irshad

机构 * Vectara, Inc.（Vectara公司） ； Anthropic（Anthropic公司） ； OpenAI（OpenAI公司） ； Google DeepMind（谷歌DeepMind） ； DeepSeek-AI（DeepSeek人工智能公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究大语言模型智能体安全可靠行为问题，提出GuardianAgentBench基准测试，含多阶段验证和攻击模式。实验发现模型有两种失败模式，性能随工具集和轮次深度下降。护栏实现优于系统提示防御，证明执行时结构干预可提升安全性且不影响正确行为。

Conflict Resolution under Degraded Surveillance in Air Corridors Using Multi-Agent Reinforcement Learning

使用多智能体强化学习解决空中走廊降级监视下的冲突

Esrat Farhana Dulia, Syed Arbab Mohd Shihab, Caleb Adams, Ruben Del Rosario

机构 * College of Aeronautics and Engineering（航空与工程学院） ； Center for Advanced Air Mobility（先进空中交通中心） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究针对空中走廊降级监视下的冲突解决问题，开发基于深度Q网络的多智能体强化学习框架，为两类飞机训练策略，经模拟评估策略效果，揭示安全与走廊容量权衡，支持相关冲突解决策略评估。

Autonomous Topology Mutation: Safe Runtime Restructuring for Multi-Agent LLM Systems with Capability, State, and Shadow Invariants

自主拓扑变异：具有能力、状态和影子不变量的多智能体大语言模型系统的安全运行时重组

Bronislav Sidik, Chaya Levi, Nizzan Kimhi

机构 * Toga Networks (Huawei)（托加网络（华为）） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型系统运行时无自我重组机制的问题，提出自主拓扑变异（ATM）机制，结合遥测驱动过载检测与安全不变量，经实验验证可提升任务成功率、减少隐私内存暴露并降低延迟，且相关内容已开源。

Comments 9 pages, 5 tables. Code and benchmark harness available at https://github.com/sidikbro/jiuwen_atm

Robust Critics: Defending LLMs Against Multi-Turn Attacks

鲁棒评论家：防御大语言模型免受多轮攻击

Roman Belaire, Arunesh Sinha, Pradeep Varakantham

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对大语言模型在多轮攻击下的安全问题，提出对话评论家引导采样（DCGS）框架，通过推断用户意图、建模为马尔可夫决策过程并学习价值和遗憾评论家来生成回复，在多个数据集上评估优于基线和前沿模型，还能迁移提升模型鲁棒性。

End-to-End Learning of Safe Optimal Feedback Control in High Dimensions with Control Barrier Function Layers

基于控制障碍函数层的高维安全最优反馈控制的端到端学习

Xingjian Li, Kelvin Kan, Deepanshu Verma, Krishna Kumar, Stanley Osher, Samy Wu Fung

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究在硬安全约束下高维半全局反馈控制器的学习问题，结合算子分裂与无雅可比反向传播方法，实现可扩展端到端训练并保持安全保证，证明该方法在高维多智能体非线性控制问题上的有效性。

Compile, Then Page: Executable SOP Programs and a Capability-Gated Runtime for Procedural LLM Agents

编译，然后分页：用于过程性语言模型代理的可执行标准操作程序和能力门控运行时

Chenglin Yu, Li Yin, Qingxin Fan, Ying Yu, RunyangRay Zhong, Ming Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The University of Hong Kong（香港大学） ； Zhejiang Normal University（浙江师范大学） ； Research Institute for Generative AI, The Hong Kong Polytechnic University（香港理工大学生成式人工智能研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对企业代理遵循SOP的问题，将SOP约束编译成可执行伪代码，用程序引导堆栈机运行，通过实验表明编译文本有益，运行时指导受能力门控，给出编译后经模型级纪律检查再启用活动框架分页的实际指导。

Comments 9 pages, 3 figures, 5 tables

SAGE: A Socially-Aware Generative Engine for Heterogeneous Multi-Agent Navigation

SAGE：用于异构多智能体导航的社会感知生成引擎

Lan Hu, Minghui Liwang, Wenbo Zhu, Xinlei Yi, Yiguang Hong, Xianbin Wang, Zhenzhen Jiao, Seyyedali Hosseinalipour

机构 * Guohao School, Tongji University（同济大学国豪书院） ； Shanghai Research Institute for Intelligent Autonomous Systems（上海智能无人系统科学中心） ； Tongji University（同济大学） ； Western University（西安大略大学） ； Aeromind Technology Co., Ltd.（深圳智元科技有限公司） ； University at Buffalo-SUNY（纽约州立大学布法罗分校） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 针对开放人机环境中异构多智能体导航问题，提出SAGE，通过有向异构图和异构图变换器编码交互，扩散生成模块建模轨迹，无训练安全-社会能量引导机制优化轨迹，实验验证其有效性及可扩展性。

Comments 16 pages, 5 figures, and 14 tables. Includes supplementary experimental details