大模型对齐与安全

Safe Reinforcement Learning with Preference-based Constraint Inference

基于偏好的约束推断的安全强化学习

Chenglin Li, Grant Ruan, Hua Geng

机构 * Department of Automation, Tsinghua University, Beijing, China ； Laboratory for Information \& Decision Systems, Massachusetts Institute of Technology, Cambridge, MA, USA 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出偏好约束强化学习（PbCRL），通过引入死区机制和信噪比损失，从人类偏好中推断安全约束，实现更好的约束对齐和策略学习。

Comments Accepted by the 43rd International Conference on Machine Learning (ICML 2026)

Prompt Overflow: What the Guardrail Inspects Is Not What the Model Infers

提示溢出：护栏检查的内容并非模型推理的内容

Yuanbo Zhou, Changjia Zhu, Junyu Wang, Xu He, Yan Zhai, Kun Sun, Mingkui Wei, Junjie Xiong

专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)

AI总结 本文提出提示溢出攻击，利用护栏模型有限检查窗口与下游大语言模型更大推理窗口之间的不匹配，通过将恶意指令碎片化并插入良性填充内容到超长提示中，使每个检查片段看似无害，但完整上下文仍可被LLM执行。

Comments 18 pages, 8 figures

MaMa: A Game-Theoretic Approach for Designing Safe Agentic Systems

MaMa: 一种基于博弈论的安全智能体系统设计方法

Jonathan Nöther, Adish Singla, Goran Radanovic

机构 * Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出MaMa算法，通过将安全智能体系统设计形式化为系统设计者与对手之间的Stackelberg博弈，利用基于LLM的对抗搜索自动生成鲁棒安全的系统设计。

One Policy, Infinite NPCs: Persona-Traceable Shared RL Policies for Scalable Game Agents

一个策略，无限NPC：用于可扩展游戏智能体的可追溯共享RL策略

Yoosung Hong

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出一种基于冻结LLM嵌入的条件共享强化学习策略pcsp，实现大规模NPC的个性化控制，在300人生活模拟基准上零样本身份识别提升17倍，推理速度比LLM策略快22倍。

Comments 18 pages, 15 figures, 14 tables

DART: Semantic Recoverability for Structured Tool Agents

DART：结构化工具代理的语义可恢复性

Ke Yang, Panpan Li, Zonghan Wu, Kejin Xu, Huaxi Huang, Xiaoshui Huang

机构 * MOS Intelligent Connectivity Technology Co. Ltd.（MOS智能连接技术有限公司） ； Sichuan Vocational College of Post and Telecom（四川邮电职业技术学院） ； East China Normal University（华东师范大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对结构化工具代理执行失败时局部恢复可能破坏下游已提交工作的语义一致性问题，提出DART运行时系统，通过形式化语义可恢复性并实施可接受性检查，在依赖和效果约束下选择安全的恢复点。

Distill to Think, Foresee to Act: Cognitive-Physical Reinforcement Learning for Autonomous Driving

蒸馏思考，预见行动：面向自动驾驶的认知-物理强化学习

Yang Wu, Qiang Meng, Zhaojiang Liu, Youquan Liu, Jian Yang, Jin Xie

机构 * NJU（南京大学） ； SJTU（上海交通大学） ； FDU（福建大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出CoPhy框架，通过蒸馏VLM知识到BEV编码器实现零推理成本的认知能力，并构建自回归BEV世界模型预测未来语义地图以提供可解释的物理沙盒，结合双奖励机制（物理奖励和安全约束、认知奖励和意图对齐）优化驾驶策略，在NAVSIM基准上取得最优结果。

Semantically Structured Mixture-of-Experts for Compositional Robotic Manipulation

语义结构化混合专家用于组合机器人操作

Chengyu Deng, Guanqi Chen, Yizhou Chen, Zejia Liu, Zhiwen Ruan, Guanhua Chen, Jia Pan

机构 * The University of Hong Kong（香港大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 提出语义结构化混合专家扩散策略（SMoDP），通过视觉语言模型标注的技能语义指导专家专业化，实现参数高效的多任务组合操作。

Comments Accepted to Robotics: Science and Systems (RSS) 2026

A Distributed Framework for Data-Driven Safe Coordination in Leader-Follower Networks

一种用于领导者-跟随者网络中数据驱动安全协调的分布式框架

Mirhan Urkmez, Maryam Sharifi, Shahab Heshmati-Alamdari

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出分布式数据驱动零化控制屏障函数（3D-ZCBF）框架，通过从输入-状态数据中识别导数边界，在无需显式模型的情况下保证领导者-跟随者多智能体系统的连通性。

Comments Submitted to IEEE TCNS