Constitutional Midtraining: Content Presence Drives Alignment Gains
宪法式中间训练:内容存在驱动对齐增益
机构 * University of Oxford(牛津大学) ; Institute for Ethics in AI, University of Oxford(牛津大学人工智能伦理研究所) ; Geodesic Research ; Oxford Internet Institute, University of Oxford(牛津大学互联网研究院)
AI总结 该研究提出宪法式中间训练方法,在中间训练中插入基于原则价值观的内容,可提升模型对齐的泛化性与持久性,削弱SFT灌输的敲诈倾向且不造成能力损失,为以SFT为中心的流程提供低成本补充方案。