Algorithmic Separation between Constant-Depth and Logarithmic-Depth Neural Networks
常数深度和对数深度神经网络之间的算法分离
机构 * Princeton University(普林斯顿大学) ; Stanford University(斯坦福大学) ; University of California, Berkeley(加利福尼亚大学伯克利分校)
AI总结 研究常数深度和对数深度神经网络的算法分离,识别出一类布尔函数,对数深度网络能用逐层坐标下降法通过重构谱高效学习,还展示了一个子类,常数深度网络在此子类上有常数\(L^2\)逼近误差。