How Optimality Structures Sparse Dictionaries: A Theory for Understanding SAE Representations
最优性如何结构化稀疏字典:理解SAE表示的理论
AI总结 本文通过扩展局部最优性分析到非负联合优化问题,推导出稀疏自编码器(SAE)最优特征与数据分布之间的约束,解释了层级分裂与吸收、残差结构和密集对映特征等行为,并构建了新型大字典凸问题以探索宽原子-数据点极限。
Comments 27 pages, 5 figures