Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
深度学习作为神经低阶过滤:层次特征学习的谱理论
机构 * Information Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(信息学习与物理实验室,瑞士联邦理工学院(EPFL)) ; Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(计算统计物理实验室,瑞士联邦理工学院(EPFL))
AI总结 本文提出神经低阶过滤理论,揭示深度学习中层次特征学习的谱机制,通过低阶相关性选择方向,构建新特征,并通过实验验证其有效性。
Comments 62 pages, many figures, companion codes in https://github.com/IdePHICS/Neural-LoFi-Theory