Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression?
解码器保留稀疏自编码器:哪些读出能在稀疏压缩中幸存?
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 研究稀疏自编码器中哪些读出能在稀疏压缩中幸存的问题,核心方法是将最优岭预测算子间的矩阵值失真与重建损失结合训练解码器保留SAEs,主要贡献为得出重建质量不能决定读出幸存情况等结论。