The Benefits of Temporal Correlations: SGD Learns k-Juntas from Random Walks Efficiently
AI总结 本文研究了数据中的时间相关性如何使某些稀疏学习问题能够被梯度方法高效求解。研究聚焦于布尔k-juntas这一经典稀疏学习问题,发现当样本由超立方体上的懒惰随机游走生成时,使用带时间差分损失的两层ReLU网络进行训练,可以高效学习该问题,样本复杂度几乎与环境维度线性相关。相比之下,使用标准凸点wise损失的大批量梯度方法则无法获得相同优势。
Comments 10 pages main body, 3 figures