大模型对齐与安全

ROBOSHACKLES: A Safety Dataset for Human-Injury Prevention in Embodied Foundation Models

ROBOSHACKLES: 面向具身基础模型中人体伤害预防的安全数据集

Zhuowen Yin, Chongyang Liu, Wenzhang Yang, Renjue Li, Yinxing Xue

机构 * Institute of Al for Industries, Chinese Academy of Sciences（工业人工智能研究所，中国科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)

AI总结 为解决机器人伤害人类数据难以安全收集的问题，提出基于真实观测的安全数据构建流水线，生成包含1万条视频的ROBOSHACKLES数据集，涵盖直接和间接伤害类别，评估发现现有模型在安全关键场景下100%产生不安全动作。

Enforcing LLM Safety through DMD-based Classification of Prompt-Response Embedding Dynamics

基于DMD的提示-响应嵌入动态分类实现大语言模型安全

Mohamed Akrout, Olivera Kotevska, Dan Wilson

机构 * University of Tennessee（田纳西大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文将幻觉检测的动力系统框架扩展到LLM安全分类，通过拟合安全与不安全状态的Koopman模型，利用差分残差评分分类不安全输出，在多基准测试中验证了纳入提示嵌入的改进效果。

Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning

通过学习马尔可夫决策过程（MDP）实现自适应概率屏蔽用于安全强化学习

Astrid Horn Brorholt (1), Maris F. L. Galesloot (2), Nils Jansen (2) (3), Kim Guldstrand Larsen (1), Christian Schilling (1) ((1) Aalborg University, Aalborg, Denmark (2) Radboud University, Nijmegen, Netherlands (3) Ruhr University Bochum, Bochum, Germany)

机构 * Aalborg University（奥尔堡大学） ； Radboud University（拉德堡德大学） ； Ruhr University Bochum（波鸿鲁尔大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对已知MDP转移图但转移概率未知的场景，提出将概率屏蔽与在线模型学习结合的自适应方法，通过实验验证其在安全强化学习中的有效性。

Comments 19 pages, 3 figures, 3 tables. To be published in the proceedings of RV 2026

When Do LLM Agents Help? Deadline-Aware Mixed-Criticality Task Scheduling at the Autonomous-Vehicle Edge

大语言模型智能体何时有用？自动驾驶车辆边缘的感知期限感知混合关键度任务调度

Reza Zakerian

专题命中 安全训练 ：safety(abstract)

AI总结 该研究针对自动驾驶车辆边缘MEC的混合关键度任务调度，构建强启发式算法，发现LLM控制平面仅在安全关键任务激增时优于静态启发式算法。

Comments 8 pages, 5 figures, and 4 tables