大模型对齐与安全

Detecting Safety Training Modification in Language Models via Activation Analysis

通过激活分析检测语言模型中的安全训练修改

Glen Messenger

专题命中 安全训练 ：safety(title,abstract)

AI总结 本研究提出AMS工具，通过激活空间几何结构检测语言模型的安全训练修改，在14种模型配置上验证了其有效性，可区分四类安全训练修改中的前三者。

Journal ref IEEE Access, vol. 14, pp. 91723-91737, 2026

MonitorVLM-v2: A Deployed Vision-Language Framework for Real-Time Safety Violation Detection

MonitorVLM-v2：用于实时安全违规检测的已部署视觉-语言框架

Jiang Wu, Sichao Wu, Yinsong Ma, Lifang Zheng, Jingliang Duan

机构 * School of Mechanical Engineering, University of Science and Technology Beijing（北京科技大学机械工程学院） ； The Laboratory for Computational Sensing and Robotics, Johns Hopkins University（约翰霍普金斯大学计算传感与机器人实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出MonitorVLM-v2框架，将VLM安全评估转化为有限符号空间概率推理，结合SymPO算法与熵驱动分类机制，在地下矿部署中实现19.45倍提速，确认违规量达人工检查的2.78倍，满足实时可审计工业监控需求。

Interactive Alignment

交互式对齐

Sylvain Chassang

专题命中 安全训练 ：alignment(title,abstract)

AI总结 研究交互式主体与人类福祉的长期对齐问题，采用人工智能主体模拟和进化博弈论框架两种方法，结果显示进化博弈论可近似宪法主体经济动态，实用规范执行能更有效维持长期对齐。

Comments 53 pages, 18 Figures, 3 tables

Auditing Alignment Controllability in LLMs via Political Axes

通过政治轴审计大语言模型中的对齐可控性

Bartol Bućan, Nikola Sočec, Sarah Isufi, Morena Granić, Luka Hobor, Agneza Krajna, Mihael Kovac, Mario Brcic

专题命中 安全训练 ：alignment(title)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究通过对7个大语言模型进行基于提示可控性的压力测试，探讨其在政治轴上的对齐可控性，发现上下文框架起主要作用，模型移动方式有别，强调政治坐标审计需考虑分散性等可控性因素，并发布相关数据和代码。

Comments 17 pages, 6 figures, 4 tables. Accepted at AIES 2026 (AAAI/ACM Conference on AI, Ethics, and Society). This version includes the supplementary appendix. Code and data: https://github.com/mbrcic/llm-political-steerability (Zenodo DOI 10.5281/zenodo.21489805)

Distributed Motion Planning with Safety Guarantees for Self-Reconfiguring Robotic Boats

具有安全保障的自重构机器人船分布式运动规划

Alejandro Gonzalez-Garcia, Wei Wang, Wei Xiao, Wilm Decre, Jan Swevers, Carlo Ratti, Daniela Rus

机构 * KU Leuven（鲁汶大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Nanyang Technological University（南洋理工大学） ； SMART（新加坡制造技术研究院） ； SENSEable City Laboratory, Massachusetts Institute of Technology（麻省理工学院可感知城市实验室） ； Computer Science and Artificial Intelligence Lab (CSAIL), Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 研究水生自重构机器人多智能体形状形成与重构问题，提出将分布式MPC与CBF相结合的混合框架，利用ADMM求解MPC方案，通过局部优化和信息交换计算轨迹，并应用基于CBF的滤波器保障安全，经仿真和实验验证了框架的有效性与可扩展性。

Comments Submitted to IEEE

Safe-Night VLA: Seeing the Unseen via Thermal-Perceptive Vision-Language-Action Models for Safety-Critical Manipulation

Safe-Night VLA: 通过热感知视觉-语言-动作模型看见未见事物以实现安全关键操作

Dian Yu, Qingchuan Zhou, Bingkun Huang, Majid Khadiv, Zewen Yang

机构 * Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)（慕尼黑机器人与机器智能研究所（MIRMI），技术大学慕尼黑（TUM）） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 Safe-Night VLA通过整合热感知技术，实现了安全关键操作中的非可见领域感知与稳健执行。

Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

SIVA-RL：用于多模态强化学习的灵敏度不变视觉对齐

Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Sichuan University（四川大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Macau（澳门大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)

AI总结 研究多模态强化学习中视觉语言模型预测与视觉证据结合问题，提出SIVA-RL框架，通过特定方法构建局部干预并以奖励下降为权重驱动对齐，在多基准测试中相比基线改进了模型。

Comments 27 pages, 11 figures

Perfect Demo Makes Poor Teacher: Learning Robust Alignment from Critical Motion Segments

完美演示造就差劲教师：从关键运动片段学习鲁棒对齐

Mingyu Liu, Zeju Li, Jiuhe Shu, Hanqing Wang, Yuhao Chao, Hao Chen, Chunhua Shen

机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Hong Kong University of Science and Technology (GZ)（香港科技大学（广州）） ； Nanjing University（南京大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)

AI总结 针对精细操作中流畅演示因压缩关键对齐动作导致策略学习不足的问题，提出数据级重采样和表示级STAIR特征，利用稠密运动感知监督提升策略鲁棒性。

VLM-CASE: Vision-Language Model Enabled Context-Adaptive Safety Envelopes for Anticipatory Safe Autonomous Driving

VLM-CASE：面向前瞻安全自动驾驶的视觉语言模型赋能上下文自适应安全包络

Tianjia Yang, Ke Li, Ruwen Qin, Xianbiao Hu

机构 * Department of Civil and Environmental Engineering, The Pennsylvania State University（宾夕法尼亚州立大学土木与环境工程系） ； Department of Civil Engineering, Stony Brook University（石溪大学土木工程系） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 针对恶劣工况下自动驾驶感知与性能退化、仅能事后响应的问题，提出基于微调VLM的上下文自适应安全包络框架，实现前瞻安全控制，在多场景仿真中性能优于基线方法。

Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment

将离策略令牌转换为策略内令牌：一种改进大语言模型对齐的插件方法

Yu Li, Xiuyu Li, Mingyang Yi, Jiaxing Wang, zhangliangxu, Zhaolong Xing, Zhen Chen

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型强化学习后训练中离策略数据问题，提出选择性重要性采样（SIS），受拒绝采样启发，以离策略模型为提议分布进行令牌级拒绝测试，理论证明可减少梯度估计差距，实验验证其有效性。

Adaptive Shielding via Parametric Safety Proofs

基于参数安全证明的自适应防护

Yao Feng, Jun Zhu, André Platzer, Jonathan Laurent

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出一种编程语言框架，允许专家静态指定自适应防护，以确保学习代理的安全控制范围，并在运行时获取知识时变得更加宽松。

Journal ref Proceedings of the ACM on Programming Languages, Volume 9, Issue OOPSLA1, 2025

A Pre-Dispatch Resonance Safety Criterion for AI Training Clusters

AI训练集群的预调度共振安全准则

Chandan Chaudhary, Abanish Tiwari, Yansong Pei, Mohammed Ben-Idris, Joydeep Mitra

专题命中 安全训练 ：safety(title,abstract)

AI总结 针对AI训练集群在BSP协议下对电网产生的周期性功率波动，提出一种预调度安全准则，通过解析两区域摇摆方程，界定危险迭代周期带，并量化集群规模上限。

Comments Submitted for North American Power Symposium (NAPS) 2026, October 11 - 13, 2026

Safe-SAGE: Social-Semantic Adaptive Guidance for Safe Engagement through Laplace-Modulated Poisson Safety Functions

Safe-SAGE: 通过拉普拉斯调制泊松安全函数实现安全交互的社会-语义自适应引导

Lizhi Yang, Ryan M. Bena, Meg Wilkinson, Gilbert Bahati, Andy Navarro Brenes, Ryan K. Cosner, Aaron D. Ames

机构 * Caltech MCE（Caltech机械工程系） ； Tufts ME（Tufts大学机械工程系） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出Safe-SAGE框架，结合泊松安全函数与拉普拉斯引导场，融合多传感器点云与视觉语义分割，通过多层安全滤波器实现腿式机器人在语义丰富动态环境中的安全导航。

Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). Copyright transferred to IEEE

Decentralized CBF-based Safety Filters for Collision Avoidance of Cooperative Missile Systems with Input Constraints

基于CBF的去中心化安全滤波器：面向输入受限的协同导弹系统碰撞避免

Johannes Autenrieb, Mark Spiller

专题命中 安全训练 ：safety(title,abstract)

AI总结 针对多飞行器拦截场景，提出基于鲁棒控制屏障函数的去中心化安全滤波器，通过事件触发和松弛变量优化实现碰撞避免，兼顾计算效率与可扩展性。

Comments 7 pages, 5 figures, accepted for presentation at the 2026 American Control Conference (ACC 2026)

Auction-Based Responsibility Allocation for Scalable Decentralized Safety Filters in Cooperative Multi-Agent Collision Avoidance

基于拍卖的责任分配用于可扩展的去中心化安全滤波器在多智能体协同避碰中

Johannes Autenrieb, Mark Spiller

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出基于高阶控制屏障函数和拍卖责任分配的可扩展去中心化安全滤波器，通过非对称分配约束减少计算负荷，实现多智能体协同避碰。

Comments 6 pages, 3 figures, accepted for presentation at the IFAC World Congress 2026

SAFER-Nav: Enhancing Safety for Visual Robot Navigation via Segmentation-Aware Fine-Tuning

SAFER-Nav: 通过分割感知微调增强视觉机器人导航的安全性

Geonyeong Ko, Giung Lee, Changjoo Nam

机构 * Dept. of Electronic Engineering, Sogang University（西江大学电子工程系） ； Dept. of Computer Science, Rice University（莱斯大学计算机科学系） ； Vertical Labs, Co., Ltd.（Vertical Labs 有限公司） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出SAFER-Nav方法，通过分割感知微调将障碍物边界和可通行空间结构直接融入导航策略，降低碰撞频率并保持目标到达性能。

Beyond Single-Policy: Evaluating Composed Organization-Specific Policy Alignment in LLM Chatbots

超越单一策略：评估LLM聊天机器人中组合的组织特定策略对齐

Yingjie Liu, Yongxiang Hu, Xuan Wang, Yilun Li, Yunlei Wei, Xiaoyu Wang, Yangfan Zhou

专题命中 安全训练 ：alignment(title,abstract)

AI总结 针对现有基准忽视的组合策略违规问题，提出COPAL工具，通过经验推导的交互模式和显式处理契约生成触发组合策略失败的查询，在9个模型中平均错误率达33.1%。

Herding an Adversarial Attacker to a Safe Area for Defending Safety-Critical Infrastructure

将对抗性攻击者驱赶至安全区域以保护关键安全基础设施

Vishnu S Chipade, Dimitra Panagou

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文研究了在城市环境中防御关键安全基础设施免受对抗性空中攻击的问题，通过圆形弧形防御者阵型，在存在矩形障碍物的情况下，利用向量场引导法则将攻击者驱赶至预定义的安全区域。提出了一种新的有限时间稳定控制器，用于引导防御者形成 desired 阵型并避免障碍物和相互碰撞。

Comments ACC 2019

Automatic Generation of Communication Requirements for Enforcing Multi-Agent Safety

多智能体安全性的自动通信需求生成

Eric S. Kim, Murat Arcak, Sanjit A. Seshia, BaekGyu Kim, Shinichi Shiraishi

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文研究多智能体系统中通信需求的自动生成，提出无需协调的可控前驱运算符以确定安全约束下的自主行为，展示连接延迟上限和自触发协调方案的应用。

Comments In Proceedings SCAV 2018, arXiv:1804.03406

Journal ref EPTCS 269, 2018, pp. 3-16

ICAN-Deploy: Identity-Stable Canary Deployment for Safety-Critical Embodied Agents

ICAN-Deploy：面向安全关键具身智能体的身份稳定金丝雀部署

Xue Qin, Simin Luan, John See, Zeyd Boukhers, Cong Yang, Zhijun Li

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Heriot-Watt University, Malaysia Campus（赫瑞-沃德大学马来西亚分校） ； Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息技术研究所） ； Soochow University（苏州大学） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出ICAN-Deploy中间件，通过分离能力名称与版本，在安全关键具身智能体的金丝雀部署中保持身份哈希不变，避免重新认证。

Comments 14 pages, 6 figures, 4 tables

VLM-Based Advanced Rider Assistance System for Motorcycle Safety

基于VLM的摩托车安全高级骑手辅助系统

Mohamed Elnoor, Francesca Baldini, Ananya Trivedi, Faizan M. Tariq, Jovin D'sa, David Isele, Sangjae Bae, Dinesh Manocha, Yosuke Sakamoto

机构 * HRI ； Honda Research Institute（本田研究院） ； University of Maryland（马里兰大学） ； Northeastern University（东北大学） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出一种利用视觉语言模型进行语义感知和风险感知规划的摩托车高级骑手辅助系统，通过构建密集风险地图并采用基于采样的规划器，在CARLA模拟器中实现更高的成功率和更低的风险暴露。

Comments Accepted to IEEE IV 2026

Distributed Safety Critical Control among Uncontrollable Agents Using Reconstructed Control Barrier Functions

在不可控代理中使用重建的控制屏障函数实现分布式安全关键控制

Yuzhang Peng, Wei Wang, Jiaqi Yan, Mengze Yu

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文研究了在存在不确定行为的不可控代理的多智能体系统中分布式安全关键控制的问题，提出了一种新的重建控制屏障函数方法，通过分布式自适应观测器获得其他代理的状态估计来重建耦合的控制屏障函数，并设计了安全关键二次规划控制器，证明了所提出的分布式控制方案在不确定动态环境中能够严格保证系统安全。

Time-To-Reach Separation and Safety Filtering for Safe, Fair, and Efficient Multi-Agent Coordination

时间到达分离与安全过滤用于安全、公平和高效的多智能体协调

Matthew Low, Jasmine Jerry Aloor, Victoria Marie Tuck, Pierluigi Nuzzo, Jason J. Choi

机构 * Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电子工程与计算机科学系） ； Department of Aeronautics and Astronautics, Massachusetts Institute of Technology（麻省理工学院航空与航天系） ； GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室） ； Department of Electrical and Computer Engineering, University of California, Los Angeles（加州大学洛杉矶分校电子与计算机工程系） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出了一种多智能体协调框架，利用最小时间到达（TTR）作为统一指标用于优先级分配、时间分离和安全过滤，以协调多个空中车辆进入空中走廊并保持车辆间安全分离。

Comments 9 pages, 3 figures. Extended version (including appendix) of a paper submitted to the 65th IEEE Conf. on Decision and Control (2026)

Toward a Principled Framework for Agent Safety Measurement

迈向代理安全测量的原理性框架

Shuyi Lin, Anshuman Suri, Alina Oprea, Cheng Tan

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出基于搜索而非采样的原理性框架，用于评估代理安全，通过BOA框架在预算内搜索轨迹空间，发现贪心和采样方法遗漏的不安全轨迹。

Learning over Forward-Invariant Policy Classes: Reinforcement Learning without Safety Concerns

在前向不变策略类中学习：无安全顾虑的强化学习

Chieh Tsai, Muhammad Junayed Hasan Zahed, Salim Hariri, Hossein Rastgoftar

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出了一种基于前向不变性诱导的动作空间设计的安全强化学习框架，通过构造有限可接受动作集，确保策略安全性和性能优化分离，验证了在四旋翼飞行器悬停调节中的有效性。

Proactive Hierarchical Control Barrier Function-Based Safety Prioritization in Close Human-Robot Interaction Scenarios

主动式分层控制屏障函数基安全优先级在近距离人机交互场景中的应用

Patanjali Maithani, Aliasghar Arab, Farshad Khorrami, Prashanth Krishnamurthy

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出基于控制屏障函数的分层框架，用于在近距离人机交互中主动管理碰撞风险，通过实时安全约束优先级调整和深度感知实现安全协作。

Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems

预执行安全闸门与任务安全合同用于LLM控制的机器人系统

Ike Obi, Vishnunandan L. N. Venkatesh, Weizheng Wang, Ruiqi Wang, Dayoon Suh, Temitope I. Amosa, Wonse Jo, Byung-Cheol Min

机构 * SMART Laboratory, Department of Computer and Information Technology, Purdue University（普渡大学计算机与信息技术系SMART实验室） ； Department of Information and Telecommunication Engineering, Incheon National University（仁川国立大学信息与通信工程系） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出SafeGate和Task Safety Contracts，通过神经符号安全架构和约束检查，提升LLM控制机器人系统的安全性，减少缺陷命令的执行。

Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward

Saliency-R1: 通过显著图对齐奖励增强可解释性和忠实的视觉-语言推理

Shizhan Gong, Minda Hu, Qiyuan Zhang, Chen Ma, Qi Dou

机构 * The Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)

AI总结 Saliency-R1通过显著图对齐奖励提升视觉-语言模型的推理可解释性和忠实性，利用显著图技术高效突出关键图像区域，结合GRPO优化策略增强模型对相关区域的关注，实验显示提升推理忠实性和任务性能。

Comments CVPR 2026

Inverse Safety Filtering: Inferring Constraints from Safety Filters for Decentralized Coordination

逆安全过滤：从安全过滤器推断约束以实现去中心化协调

Minh Nguyen, Jingqi Li, Gechen Qu, Claire J. Tomlin

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出一种在线方法，通过观察其他智能体的安全过滤动作推断约束，结合去中心化规划方法确保安全，通过仿真和硬件实验验证有效性。

Tube-Based Safety for Anticipative Tracking in Multi-Agent Systems

基于管状的安全性用于多智能体系统中的前瞻性跟踪

Armel Koulong, Ali Pakniyat

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出了一种基于管状的安全框架，用于非线性Brunovsky多智能体系统在有界扰动下的鲁棒前瞻性跟踪，通过建立反馈增强的辅助控制策略的安全证书，避免了传统的Lipschitz界可行性条件，从而得到显式的鲁棒正不变管半径，减少约束保守性并保持正式的前向不变性。

Comments This work has been submitted to the 65th IEEE Conference on Decision and Control for possible publication