SGD Provably Prioritizes a Shortcut Spurious Feature in the XOR Model
SGD 在 XOR 模型中优先学习捷径虚假特征
机构 * H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(霍华德·米尔顿·斯图尔特工业与系统工程学院,佐治亚理工学院) ; School of Electrical and Computer Engineering, Georgia Institute of Technology(电气与计算机工程学院,佐治亚理工学院)
AI总结 本文通过在线小批量 SGD 训练两层 ReLU 神经网络,首次端到端理论刻画了虚假特征学习,发现 SGD 优先且指数级快速地学习虚假特征,且优化动力学中虚假与信号特征耦合,强虚假成分抑制信号学习。
Comments v2: Fixed typos