大模型对齐与安全

Measuring Safety Alignment Effects in Autonomous Security Agents

在自主安全代理中测量安全对齐效应

Isaac David, Arthur Gervais

机构 * University College London（伦敦大学学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 本文提出了一种基于轨迹的基准测试，用于评估安全代理在执行漏洞分析任务时的安全对齐效果，发现安全代理的性能差异主要体现在拒绝、不安全行为和工具可靠性等方面，而非单纯的拒绝率。

Governing Evolving Memory in LLM Agents: Risks, Mechanisms, and the Stability and Safety Governed Memory (SSGM) Framework

在LLM代理中治理演化的记忆：风险、机制以及稳定性与安全性的治理记忆（SSGM）框架

Chingkwun Lam, Jiaxin Li, Lingfei Zhang, Kuo Zhao

机构 * College of Intelligent Science and Engineering（智能科学与工程学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文研究了LLM代理中记忆治理的问题，提出了一种新的SSGM框架，通过一致性验证、时间衰减建模和动态访问控制来缓解记忆腐蚀风险，提高记忆系统的稳定性与安全性。

ETS: Energy-Guided Test-Time Scaling for Training-Free RL Alignment

ETS: 为无训练强化学习对齐的能耗引导测试时缩放

Xiuyu Li, Jinkai Zhang, Mingyang Yi, Yu Li, Longqiang Wang, Yue Wang, Ju Fan

机构 * Renmin University of China, Beijing, China（中国人民大学，北京，中国） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文提出了一种无需训练的推理方法，直接从最优强化学习策略中采样，通过结合参考策略模型和能耗项来改进掩码语言模型的过渡概率，并通过在线蒙特卡洛方法估计关键能耗项，从而提高生成质量。

Comments Accepted by ICML 2026

Foundation models on the bridge: Semantic hazard detection and safety maneuvers for maritime autonomy with vision-language models

桥梁上的基础模型：基于视觉-语言模型的语义危险检测与安全操作用于海上自主性

Kim Alexander Christensen, Andreas Gudahl Tufte, Alexey Gusev, Rohan Sinha, Milan Ganai, Ole Andreas Alsos, Marco Pavone, Martin Steinert

机构 * Dept. of Mechanical and Industrial Engineering, NTNU（机械与工业工程系，挪威科技大学） ； Dept. of Aeronautics and Astronautics, Stanford University（航空航天工程系，斯坦福大学） ； Dept. of Computer Science, Stanford University（计算机科学系，斯坦福大学） ； NVIDIA Research（NVIDIA研究） 纠错

专题命中 安全训练 ：safety(title)；alignment(abstract)；分类 cs.AI

AI总结 本文提出了一种基于视觉-语言模型的语义危险检测与安全操作方法，用于满足IMO草案MASS代码对海上自主船舶的要求，通过快速-慢速异常管道和短时间范围的人类可覆盖回退操作来实现，在40个港口场景中验证了该方法的性能。

Comments 17 pages without bibliography or appendix. The main paper has 16 figures. Paper webpage can be found at https://kimachristensen.github.io/bridge_policy/

Journal ref Ocean Engineering 359, Part 3 (2026), Article 124646

Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints

在非平稳环境下通过自适应安全约束实现安全的持续强化学习

Timofey Tomashevskiy

机构 * McMaster Centre for Software Certification（麦斯特软件认证中心） ； Department of Computing and Software（计算与软件系） ； McMaster University（麦斯特大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。

Comments Preprint version

TEMPO: Temporal Enforcement via Mode-Separated Policy Optimization for Trustworthy LLM Backtesting

TEMPO: 通过模式分离策略优化实现可信大语言模型回测的时序执行

Zeyu Zhang, Bradly C. Stadie

机构 * Department of Statistic and Data Science（统计与数据科学系） 纠错

专题命中 安全训练 ：trustworthy(title)；分类 cs.LG

AI总结 本文提出TEMPO方法，通过模式分离策略优化，解决大语言模型回测中因泄露后截止日期知识导致的评估不准确问题，核心贡献是引入双模式奖励和基于GRPO的训练流程，有效减少知识泄露并提升任务性能。

Comments 9 pages in main context

Robotics-Inspired Guardrails for Foundation Models in Socially Sensitive Domains

受机器人启发的用于社会敏感领域基础模型的护栏

Rebecca Ramnauth, Drazen Brscic, Brian Scassellati

机构 * Yale University（耶鲁大学） ； Kyoto University（京都大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出了一种基于机器人学的护栏框架，用于在社会敏感领域中对基础模型进行运行时行为控制，以减少交互轨迹中向不良状态的漂移，并适应多样化的社会情境。

Comments Under review at Journal of Artificial Intelligence Research (JAIR)

From Refusal to Recovery: A Control-Theoretic Approach to Generative AI Guardrails

从拒绝到恢复：一种生成AI防护机制的控制论方法

Ravi Pandya, Madison Bland, Duy P. Nguyen, Changliu Liu, Jaime Fernández Fisac, Andrea Bajcsy

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系） ； Equal Advising（平等指导） 纠错

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文提出了一种基于控制论的生成AI防护机制，通过实时监控和主动纠正高风险输出，提供了一种动态替代传统标志和阻断方法的解决方案。

Journal ref Second International Association on Safe and Ethical AI Conference (IASEAI 2026)

Backtracking When It Strays: Mitigating Dual Exposure Biases in LLM Reasoning Distillation

在偏离时回溯：缓解大语言模型推理蒸馏中的双重暴露偏差

Bing Wang, Shaotian Yan, Chen Shen, kaiyuan liu, Sinan Fan, Ximing Li, Rui Miao, Xiaosong Yuan, Zhanming Shen, Jieping Ye

机构 * College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； Key Laboratory of Symbolic Computation and Knowledge Engineering, MoE, Jilin University（吉林大学符号计算与知识工程重点实验室） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种新的LLM推理蒸馏方法MOTAB，通过动态监控学生模型生成过程并回溯偏离安全边界的情况，缓解了传统蒸馏方法中因训练分布与推理上下文不匹配导致的双重暴露偏差问题，从而提升推理性能。

Comments 26 pages, 8 figures

Causality-Aware End-to-End Autonomous Driving via Ego-Centric Joint Scene Modeling

基于因果性的端到端自动驾驶：通过以自身为中心的联合场景建模

Seokha Moon, Minseung Lee, Joon Seo, Jinkyu Kim, Jungbeom Lee

机构 * Korea University（韩国大学） ； Kakao Mobility 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出CaAD框架，通过共享潜在场景表示捕捉车辆与周围代理之间的因果依赖关系，以提高端到端自动驾驶的闭环规划性能。

Safe Deep Reinforcement Learning for Spacecraft Reorientation with Pointing Keep-Out Constraint

具有指向保持区约束的空间飞行器再定向的安全深度强化学习

Juntang Yang, Mohamed Khalil Ben-Larbi

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出了一种用于具有单一指向保持区的空间飞行器再定向控制的深度强化学习方法，设计了新的状态空间表示，制定了奖励函数以实现控制目标并施加姿态约束，采用软演员评论家算法处理连续状态和动作空间，并通过课程学习方法训练智能体，通过基于控制屏障函数的安全过滤器保证姿态约束的合规性。