大模型对齐与安全

When the Chain of Thought Knows Better: Failure Modes in Multi-Turn Reasoning Models

当思维链更清楚时：多轮推理模型的失败模式

Sai Kartheek Reddy Kasu, Nils Lukas, Samuele Poppi

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CoT-Output 2x2安全矩阵诊断多轮推理模型隐藏的时间动态失败，发现监督悖论和上下文注入失败两种可复现漏洞。

Comments Accepted at the ICML 2026 Workshop on Failure Modes in Agentic AI (FAGEN)

SecureBreak -- A dataset towards safe and secure models

SecureBreak -- 一个面向安全和安全模型的数据集

Marco Arazzi, Vignesh Kumar Kembu, Antonino Nocera

机构 * Department of Electrical, Computer ； Biomedical Engineering, University of Pavia, Italy\ . 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SecureBreak数据集，用于检测由安全对齐残余弱点引起的有害大语言模型输出，通过手动标注确保可靠性，并在多个风险类别中有效检测不安全内容。

Mitigating Over-Refusal in Aligned Large Language Models via Inference-Time Activation Energy

通过推理时间激活能量缓解对齐大语言模型中的过度拒绝

Eric Hanchen Jiang, Weixuan Ou, Run Liu, Shengyuan Pang, Guancheng Wan, Ranjie Duan, Wei Dong, Kai-Wei Chang, XiaoFeng Wang, Ying Nian Wu, Xinfeng Li

机构 * UCLA（加州大学洛杉矶分校） ； Alibaba Cloud Computing（阿里云计算） ； SJTU（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； NTU（国立科技大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过能量景观引导框架，提升大语言模型的安全性并减少虚假拒绝，实验显示在ORB-H基准上合规性显著提高。

PluriHarms: Benchmarking the Full Spectrum of Human Judgments on AI Harm

PluriHarms：对AI危害全谱人类判断的基准测试

Jing-Jing Li, Joel Mire, Eve Fleisig, Valentina Pyatkin, Anne Collins, Maarten Sap, Sydney Levine

机构 * UC Berkeley（伯克利大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Allen Institute for AI（人工智能研究院） ； New York University（纽约大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 PluriHarms通过系统研究人类对AI危害的判断，旨在推动更安全的AI发展。

X-Teaming: Multi-Turn Jailbreaks and Defenses with Adaptive Multi-Agents

Salman Rahman, Liwei Jiang, James Shiffer, Genglin Liu, Sheriff Issaka, Md Rizwan Parvez, Hamid Palangi, Kai-Wei Chang, Yejin Choi, Saadia Gabriel

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI、cs.LG

Automatic Pseudo-Harmful Prompt Generation for Evaluating False Refusals in Large Language Models

Bang An, Sicheng Zhu, Ruiyi Zhang, Michael-Andrei Panaitescu-Liess, Yuancheng Xu, Furong Huang

机构 * University of Maryland, College Park（马里兰大学 College Park 分校） ； Adobe Research（Adobe 研究院） ； Capital One（Capital One 公司） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.CY、cs.LG

Nevermind: Instruction Override and Moderation in Large Language Models

Edward Kim

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 11 pages

Refusing Intent, Not Form: Wrapper-Based Intent-Group Supervision for LLM Safety

拒绝意图，而非形式：基于包装器的意图组监督用于大语言模型安全

Ping Wu, Haibo Tong, Feifei Zhao, Han Shen, Yu Shi, Yilin Zhao, Sicheng Shen, Guobin Shen, Yun Luo, Yi Zeng

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL

AI总结 该研究针对大语言模型安全调优的表面形式捷径问题，提出WIFA方法，结合两种微调路径提升有害内容拒绝能力并降低良性提示过度拒绝率，在Qwen和Llama上验证了效果。

Comments 23 pages, 11 figures, 24 tables

Time-Series Forecasting in Safety-Critical Environments: An Open-Source Package for EU-AI-Act-Compliant Development / Zeitreihenprognose in sicherheitskritischen Umgebungen: Ein Open-Source-Paket für die KI-VO-konforme Entwicklung

安全关键环境中的时间序列预测：符合EU-AI-Act的开源包

Thomas Bartz-Beielstein, Eva Bartz

机构 * Bartz & Bartz GmbH（巴茨与巴茨公司） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出一个符合EU-AI-Act的设计方法，通过库内集成点预测方法，确保安全关键环境中的合规性，包含代码开发规则和过程规则，排除了可视化和AutoML等可能引入风险的功能。

Comments Version 3. Working paper. Bilingual twin paper: English version first, German original below (100 pages total). Single shared bibliography

Harmonizing Safety and Speed: A Human-Algorithm Approach to Enhance the FDA's Medical Device Clearance Policy

协调安全与速度：一种人机方法以增强FDA的医疗器械审批政策

Mohammad Zhalechian, Soroush Saghafian, Omar Robles

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出一种人机协同方法，通过数据驱动的审批政策降低医疗器械召回风险并减少监管工作量，提升FDA 510(k)审批流程的安全性和效率。

Comments Accepted for publication in Management Science

Making Your LLMs More Objective: Stabilizing LLM Safety Behavior Across Traits with Trait-Invariant Safety Tuning

提升大语言模型的客观性：通过特质不变安全微调稳定LLM在不同特质下的安全行为

Lang Cao

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 针对LLM因系统提示词中特质不同导致同一请求安全决策不一致的问题，提出特质不变安全微调（TIST）框架及TraSN方法，提升跨特质安全稳定性且保留通用能力。

Language-Structured Relational Q-Learning for Threat-Aware Control in Safety-Critical Driving

面向安全关键驾驶中威胁感知控制的语言结构化关系Q学习

Aditya Humnabadkar, Huaizhong Zhang, Ardhendu Behera

机构 * Edge Hill University（埃奇希尔大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 该研究针对安全关键驾驶，提出语言结构化关系Q学习（ERQ-Net），经2500个场景测试，提升了威胁感知能力但存在识别-控制差距，为相关策略学习提供了新视角。

Comments Accepted manuscript: Workshop on Emerging Behaviors in Embodied AI for Achieving Robust Autonomy as part of European Conference on Computer Vision (ECCV) 2026

Herding End-to-End Autonomous Driving via Neuro-Symbolic Safety Guards

通过神经符号安全护卫实现端到端自动驾驶的引导

Simón Patiño Idarraga, Erick Silva, Rehana Yasmin, Ali Shoker

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究针对端到端驾驶智能体违反交通规则的问题，提出无需重训的神经符号安全护卫，在Fail2Drive和Bench2Drive基准上使成功率提15%、安全碰撞降53%且保留原驾驶分数。

Coupled Graph--Policy Distillation for Personalized Medication Safety in Older Adults with Multimorbidity

面向多病老年患者个性化用药安全的耦合图-策略蒸馏方法

Zihan Wang, Anglin Liu, Rongyi Wang, Dantong Li, Yi Lu, Siqing Yuan, Hongxia Xu, Zhongtian Long, Jintai Chen

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出ATLAS框架与GeriMedBench基准，通过耦合图-策略蒸馏实现多病老年患者的个性化用药安全，在多基准测试中表现优于对比系统，获临床医生更高评分。

Enhance the Safety in Reinforcement Learning by ADRC Lagrangian Methods

通过ADRC拉格朗日方法增强强化学习的安全性

Mingxu Zhang, Huicheng Zhang, Jiaming Ji, Yaodong Yang, Ying Sun

机构 * AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)（人工智能方向，香港科技大学（广州）） ； School of Artificial Intelligence, Peking University, Beijing, China（人工智能学院，北京大学，北京，中国） ； Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出ADRC-拉格朗日方法，通过主动扰动抵消控制提升强化学习的安全性，实验显示在复杂环境中显著减少安全违规和成本

Journal ref Transactions on Machine Learning Research, 2026

Social Pressure Breaks Majority Voting in LLM Safety Panels

社交压力会破坏大语言模型安全评审团的多数投票机制

Yibo Hu, Jiaming Qu

机构 * Illinois Institute of Technology（伊利诺伊理工学院） ； Amazon（亚马逊） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL

AI总结 该研究发现，在LLM安全评审团中，同行的错误标签断言会大幅提升误报率，且评审员更易追随“不安全”方向，多数投票机制会因社交压力失效，还提供了部署前诊断方法。

Forecasting Trajectory-Level Safety Risks in Black-Box Multi-Turn Interactions

黑盒多轮交互中轨迹级安全风险预测

Shi Lin, Peng Qian, Dinghao Liu, Renjie Sun, Sifan Wu, Dezhang Kong, Chenpei Wang, Xun Wang

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出 Recast 框架，通过双尺度轨迹视图建模风险演变，可提前2.41轮预测88.3%的安全故障，误报率12.3%，实现轨迹级安全风险预测。

Do Models Fake Alignment Without Clear Consequences?

模型是否会在没有明确后果的情况下假装对齐？

Cole Alexander Niblett, Alexander Chabot Nanni, Anita K. Rao

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI

AI总结 研究大语言模型对齐伪造现象，通过将15个模型置于特定场景，发现9个有显著合规差距，5个在去除后果关联语言后仍存在，还测试了目标语言影响，表明对齐伪造或许无需太多工具支撑，监测行为难指示部署行为。

Comments Accepted at FAGEN@ICML 2026 (Poster). 8 pages, 1 figure, 10 tables

Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning

作为非平稳强化学习安全约束的调整速度

Timothy Tomashevskiy

机构 * McMaster University（麦克马斯特大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 研究非平稳强化学习中的安全问题，提出以调整速度为安全约束，用上下文表示和预测估计适应需求，与智能体适应能力比较，超限时收紧动作集并激活屏蔽，实验验证该方法可减少安全违规，支持适应可行性原则。

Comments 15 pages, 5 figures, 2 tables. Preprint

SafeHarbor: Defining Precise Decision Boundaries via Hierarchical Memory-Augmented Guardrail for LLM Agent Safety

SafeHarbor：用于LLM智能体安全的分层记忆增强防护栏

Zhe Liu, Zonghao Ying, Wenxin Zhang, Quanchen Zou, Deyue Zhang, Dongdong Yang, Xiangzheng Zhang, Hao Peng

机构 * School of Cyber Science and Technology, Beihang University, Beijing, China（北京航空航天大学网络安全学院） ； Institute of Artificial Intelligence, Beihang University, Beijing, China（北京航空航天大学人工智能研究院） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； AI Security Lab, Beijing, China（360人工智能安全实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出SafeHarbor框架，通过分层记忆系统和信息熵自进化机制，在保持高安全拒绝率的同时提升对良性请求的响应能力。

Comments Accepted by ICML 2026

Clinical Pathways as Safety Specifications for Physical AI in Hospital Wards

临床路径作为医院病房物理人工智能的安全规范

Gabriele Franchini, Giulio Mallardi, Michele De Carolis, Filippo Lanubile

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CY

AI总结 研究针对医院病房物理人工智能系统的安全挑战，提出将临床路径作为安全规范，构建集成多种组件的概念性机器人架构，用运行时安全监视器结合多种方法识别安全违规，助力护理人员并为安全物理人工智能做贡献。

Comments 4 pages, 3 figures. Accepted at the 1st IJCAI Workshop on Safe Physical AI (SPAI 2026), held in conjunction with IJCAI-ECAI 2026, Bremen, Germany

AI Value Alignment for Evolving Social Norms

用于不断演变的社会规范的人工智能价值对齐

Nenad Tomašev, Matija Franklin, Simon Osindero

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.CY

AI总结 研究人工智能价值对齐对社会规范演变的影响，引入基于社会物理学的数学建模框架，通过解析与模拟分析长期后果，强调价值锁定等风险，倡导用此模型作认知桥梁助力社会技术预见及大规模智能体评估。

Self-Evolving Just-In-Time Memory for Proactive Embodied Safety

用于主动具身安全的自进化即时记忆

Bingrui Sima, Lizhong Wang, Xiaoya Lu, Kun He, Xiao Yang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 研究视觉语言模型在闭环交互中应对动态危险的问题，提出自进化即时记忆框架，含RSG、事实记忆和经验记忆，并通过自动测试-验证-写入循环完善元技能，实验证明该框架大幅提升安全成功率且不阻碍任务进展。

When Words Are Safe But Actions Kill: Probing Physical Danger Beyond Text Safety in Hidden-State Risk Space

当言语安全但行动致命：在隐藏状态风险空间中探究超越文本安全的物理危险

Weimeng Wang, Ziqiang Wang, Zihang Zhan, Chuanpu Fu, Qi Li, Ke Xu

机构 * Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 研究大语言模型中语言无害指令在现实世界中的物理危险与文本级内容危险是否相同，提出PRISM方法，通过隐藏状态方向分析等证明CD和PD可分离，PRISM在多个基准测试中表现良好，能检测物理危险而非仅依赖明确不安全措辞。

SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing

安全哨兵：通过执行-询问-拒绝路由实现上下文感知的人工干预

Tianyu Chen, Chujia Hu, Wenjie Wang

机构 * ShanghaiTech University（上海科技大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 研究LLM智能体行动风险，将问题重构为三向路由决策，用安全哨兵实例化，其推理简化，单阈值可调整。该模型在准确率和召回率上优于多种基线，能同时控制错误率。

Runtime Safety Filtering for Learned Small UAS Separation Policies under GNSS Degradation

全球导航卫星系统（GNSS）退化情况下学习到的小型无人机分离策略的运行时安全过滤

Alex Zongo, Peng Wei

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 研究在GNSS退化时小型无人机分离策略的运行时安全过滤问题，对比动作过滤和观测过滤两种方法，发现动作过滤安全改进小，观测过滤能减少近90%的空中碰撞且更稳健，表明保留策略决策权限更优。

Comments Accepted for publication at the 2026 IEEE/AIAA Digital Avionics Systems Conference (DASC). 9 pages, 8 figures

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

安全响应很重要：输出感知安全护栏减轻多模态大语言模型中的过度拒绝

Jiayi Li, Kun Zhan

机构 * Lanzhou University（兰州大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 研究多模态大语言模型安全机制权衡问题，提出输出感知安全护栏范式，通过在模型隐藏状态空间预测及多实例对比学习训练分类器，减少过度拒绝，匹配安全性能，保留模型效用与安全能力。

Comments Accepted to ECCV 2026!

Selective Safety Steering via Value-Filtered Decoding

基于价值过滤解码的选择性安全引导

Bat-Sheva Einbinder, Hen Davidov, Yee Whye Teh, Yarin Gal, Yaniv Romano

机构 * Department of Electrical and Computer Engineering, Technion IIT（技术学院电气与计算机工程系） ； Department of Statistics, University of Oxford（牛津大学统计系） ； OATML, Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Department of Computer Science, Technion IIT（技术学院计算机科学系） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出一种测试时引导方法，通过价值基的安全标准过滤token，减少不必要的干预，提升不安全响应的安全性，同时在多个数据集上验证了其在安全与帮助性之间的更好平衡。

DT-Guard: Intent-Driven Reasoning-Active Training for Reasoning-Free LLM Safety Guardrail

DT-Guard：用于无推理语言模型安全护栏的意图驱动推理主动训练

He Liu, Changtao Miao, Xinjie Yang, Tianle Song, Yin Wu, Junchi Chen, Bintao He, Xinyuan Zhang, Bo Zhang, Shi Yan, Wei Lu, Wei Wang, Danyang Xu, Jiansheng Cai, Zhe Li

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 研究为开放世界应用的语言模型设计安全护栏的问题，提出基于推理主动训练、无推理推理范式的DT-Guard模型，通过构建意图驱动数据集等方法提升性能，实验证明其在安全基准测试中表现优异，能有效将推理监督内化到低延迟安全判别中。

AutoSpec: Safety Rule Evolution for LLM Agents via Inductive Logic Programming

AutoSpec: 通过归纳逻辑编程实现LLM智能体的安全规则演化

Pingchuan Ma, Zhaoyu Wang, Zimo Ji, Yuguang Zhou, Zhantong Xue, Zongjie Li, Shuai Wang, Xiaoqin Zhang

机构 * Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出AutoSpec框架，利用归纳逻辑编程引导的CEGIS自动演化专家定义的安全规则，平衡精确率和召回率，在代码执行和具身智能体领域将F1提升至0.98和0.93，减少高达94%的误报。