大模型对齐与安全

Hidden in Plain Sight: Benchmarking Agent Safety Against Decomposition Attacks with DECOMPBENCH

隐于无形：使用DECOMPBENCH基准测试代理安全对抗分解攻击

Vikhyath Kothamasu, Virginia Smith, Chhavi Yadav

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Simons Institute, UC Berkeley（Simons研究所，伯克利大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出DeCompBench基准，通过分解攻击将有害任务拆分为良性子任务，揭示现有代理安全机制在对抗分解攻击时的脆弱性。

'AI Alignment' Encompasses Competing Technical Priorities

“AI对齐”包含相互竞争的技术优先级

Tushita Jha, Rory Svarc, Mateusz Bagiński

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.CY

AI总结 本文指出AI对齐概念存在多种定义，不同研究项目下的对齐干预可能相互冲突，并建议研究者区分政策与科学范围、明确方法分歧、区分理想与代理指标、细化危害/收益来源、承认概念多样性。

Comments 9 pages, 0 figures, 2 tables, ICML 2026

X-OPD: Cross-Modal On-Policy Distillation for Capability Alignment in Speech LLMs

X-OPD：面向语音大语言模型能力对齐的跨模态在策略蒸馏

Di Cao, Dongjie Fu, Hai Yu, Siqi Zheng, Xu Tan, Tao Jin

机构 * Tencent Hunyuan（腾讯文心） ； Zhejiang University（浙江大学） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.CL、cs.AI

AI总结 提出X-OPD框架，通过跨模态在策略蒸馏对齐语音LLM与文本LLM的能力，利用文本教师模型评估语音模型的轨迹并提供令牌级反馈，显著缩小复杂任务性能差距。

Comments Accepted by Interspeech 2026

ForceForget: Reinforcement Concept Removal for Enhancing Safety in Text-to-Image Models

ForceForget: 通过强化概念移除增强文本到图像模型的安全性

Dong Han, Yong Li

机构 * Dong Han（董汉） ； Yong Li（李勇） 纠错

专题命中 安全训练 ：safety(title)

AI总结 针对文本到图像模型生成不安全内容的问题，提出基于强化学习优化概念擦除奖励的方法，通过安全适配器调节文本嵌入，在消除不安全内容的同时保持模型对安全语义的生成能力。

Comments Accepted to ICML 2026

A Low-Rank Subspace Analysis of LLM Interventions

LLM干预的低秩子空间分析

Angira Sharma, Christian Schroeder de Witt, Philip Torr, Anisoara Calinescu, Jialin Yu

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 提出诊断框架，将行为建模为激活空间中的低秩子空间，发现干预一个行为会不对称地影响其他行为，效果与子空间重叠和决策子空间角度相关。

Comments Mechanistic Interpretability Workshop @ ICML 2026

Utility-Constrained Policy Optimization

效用约束策略优化

Mehrdad Moghimi, Bernardo Avila Pires

机构 * York University（约克大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 安全训练 ：safety(abstract,abstract_cn)；分类 cs.LG

AI总结 提出一种简单而强大的效用约束MDP方法，支持风险敏感约束，无需预先固定约束限值，在多个安全基准任务上匹配或超越现有基线。

SARSteer: Safeguarding Large Audio-Language Models via Safe-Ablated Refusal Steering

SARSteer: 通过安全消融拒绝引导保护大型音频语言模型

Weilin Lin, Jianze Li, Hui Xiong, Li Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 提出SARSteer，首个针对大型音频语言模型的推理时防御框架，通过文本衍生的拒绝引导和分解安全空间消融，有效提升有害查询拒绝率并减少良性查询的过度拒绝。

LoMC: Localized Multidirectional Correction for Refusal Suppression in Routed Foundation Models

LoMC: 路由基础模型中拒绝抑制的局部多方向校正

Yan Hong, Kedong Xiu, Wei Li, Jun Lan, Huijia Zhu, Shuheng Zhou, Zhongcai Lyu, Weiqiang Wang, Jianfu Zhang

机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出LoMC方法，通过支持门控干预框架在路由MoE和混合MoE模型中实现紧凑的拒绝抑制，提升非拒绝目标响应行为并保持通用能力。

CSPO: Constraint-Sensitive Policy Optimization for Safe Reinforcement Learning

CSPO: 面向安全强化学习的约束敏感策略优化

Ayoub Belouadah, Sylvain Kubler, Yves Le Traon

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出约束敏感策略优化（CSPO），通过引入局部约束敏感性修正原目标，加速安全恢复并减少振荡，在导航与运动基准上取得更高约束回报。

Comments Accepted as a Spotlight paper at the 43rd International Conference on Machine Learning (ICML 2026)

Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops

信任但验证：通过事后对抗审计和多智能体反馈循环减轻医学幻觉

Muhammad Osama, Maheera Amjad, Zartasha Mustansar, Arslan Shaukat, Muhammad U. S. Khan

机构 * Data Science and Machine Learning Lab, SINES, NUST（NUST SINES数据科学与机器学习实验室） ； SINES, NUST（NUST SINES） ； CEME, NUST（NUST CEME） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本研究提出一种五智能体“信任但验证”系统，通过事后对抗审计和多智能体反馈循环，将大型语言模型在临床问题中推荐禁用药品的幻觉错误率降低约53%。