大模型对齐与安全

HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment

HARC：耦合有害性与拒绝方向以实现鲁棒的安全对齐

Shei Pern Chua, Hao Wu, Qianli Ma, Fangzhao Wu

机构 * Tsinghua University（清华大学） ； Southeast University（东南大学） ； Microsoft（微软公司） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 提出HARC微调方法，通过耦合提示和响应位置的有害性与拒绝方向，在不损害通用能力的情况下提升LLM安全对齐的鲁棒性。

Agentic Data Environments

智能体数据环境

Elaine Ang, Chenxi Huang, Georgios Liargkovas, Jerry Liu, Jinhui Liu, Nikos Pagonas, Charlie Summers, Haonan Wang, Jiakai Xu, Tianle Zhou, Yusen Zhang, Zhou Yu, Zhuo Zhang, Tianyi Peng, Kostis Kaffes, Eugene Wu

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 探讨智能体数据环境，其作为智能体运行的执行基础，既能增强智能体能力又保障安全。该环境拓宽了智能体运行的数据范围，改变了对数据系统的传统认知，有望在提升智能体效能同时控制故障成本。

Journal ref IEEE Data Bulletin Vol. 50 No. 1 2026

Safe Reinforcement Learning using Ideas from Model Predictive Control

利用模型预测控制思想的安全强化学习

Georg Schäfer, Jakob Rehrl, Stefan Huber, Simon Hirlaender

机构 * Salzburg University of Applied Sciences（萨尔茨堡应用科学大学） ； Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。

Comments Accepted at Eurocast 2026