大模型对齐与安全

Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

用于联邦多模态大语言模型微调的弹性正则化和合成重放持续学习

Jing Liu, Chenxuanyin Zou, Jiayang Ren, Gaoyun Fang, Chengfang Li, Yan Wang, Zhenchao Ma, Bo Hu

机构 * The University of British Columbia（英属哥伦比亚大学） ； Fudan University（复旦大学） ； Royal College of Science, Imperial College London（伦敦帝国理工学院皇家科学学院） ； Dyson School of Design Engineering（戴森设计工程学院） ； Suzhou Institute of Biomedical Engineering and Technology (SIBET), Chinese Academy of Sciences（中国科学院苏州生物医学工程技术研究所） ； East China Normal University（华东师范大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对联邦多模态大语言模型微调中灾难性遗忘问题，提出FedCMM框架，在参数、数据、聚合三个层面嵌入持续学习保障，经实验验证该框架在准确性和反向迁移上优于基线，能实现跨异构网络AI部署的稳健进化适应。

Comments submitted to IEEE JSTSP

Directional Constraints for Efficient Exploration in Safe Reinforcement Learning

安全强化学习中高效探索的方向约束

Paolo Magliano, Puze Liu, Jan Peters, Davide Tateo, Raffaello Camoriano

机构 * Dipartimento di Automatica e Informatica, Politecnico di Torino（自动控制与信息工程系，都灵理工大学） ； Tongji University, Shanghai Research Institute for Intelligent Autonomous Systems（同济大学，上海智能自主系统研究院） ； German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI）） ； Intelligent Autonomous Systems Group, TU Darmstadt（智能自主系统组，达姆施塔特工业大学） ； Lund University（隆德大学） ； Istituto Italiano di Tecnologia（意大利技术研究院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 针对安全强化学习中约束学习降低速度和性能的问题，提出扩展ATACOM框架的ATACOM-DC方法，通过引入方向约束区分动作，改善安全与性能权衡，在模拟机器人控制任务中评估，分析约束违反成本和任务性能。

Comments This paper has been accepted for publication at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Pittsburgh, USA, 2026. 8 pages, 8 figures

In-Context Reinforcement Learning under Non-Stationarity: A Survey

非平稳性下的上下文强化学习：一项综述

A Run, Ziluo Ding

机构 * Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 该综述围绕非平稳性下的上下文强化学习展开，探讨预训练或微调决策模型在交互中推断规则改善行为的能力。将其定义为策略固定时通过上下文适应问题，关联多种相关技术，并从变化内容、展开方式及智能体可观察性三方面组织文献。