Breaking the Block: Preserving Data Continuity to Train Superior SAEs for Instruct Models
打破模块限制:保留数据连续性以训练用于指令模型的卓越稀疏自编码器
机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, China(中国科学院深圳先进技术研究所) ; University of Chinese Academy of Sciences, China(中国科学院大学) ; National University of Singapore, Singapore(新加坡国立大学) ; The University of New South Wales, Australia(新南威尔士大学) ; Shenzhen University of Advanced Technology, China(深圳先进技术大学)
AI总结 研究针对现有SAEs训练方法在指令模型中因注意力泄漏引入梯度噪声问题,提出FAST顺序训练范式,通过与数据分布和激活模式对齐,提升重建保真度和特征可解释性,实验显示该方法效果显著优于基线。