2605.15082
2026-05-15
stat.ML
cs.LG
math.ST
stat.TH
Average Gradient Outer Product in kernel regression provably recovers the central subspace for multi-index models
Libin Zhu, Damek Davis, Dmitriy Drusvyatskiy, Maryam Fazel
发表机构
*
Department of Mathematics, University of Washington, Seattle, WA 98195(华盛顿大学数学系,华盛顿州西雅图98195)
;
Wharton Department of Statistics and Data Science, University of Pennsylvania, Philadelphia, PA 19104, USA(宾夕法尼亚大学沃顿统计与数据科学系,美国费城19104)
;
Department of Mathematics, U. Washington, Seattle, WA 98195(华盛顿大学数学系,华盛顿州西雅图98195)
;
Department of Electrical & Computer Engineering, University of Washington, Seattle, WA 98195, and Amazon, Inc(华盛顿大学电气与计算机工程系,华盛顿州西雅图98195,亚马逊公司)
AI总结
本文研究了在样本数量少于精确预测所需的情况下,如何通过学习预测器发现数据中的低维结构。具体来说,考虑从有限数据对中恢复多指标多项式模型 $f^*(x)=h(Ux)$ 的问题,其中输入仅通过未知的 $r$ 维中心子空间的投影来影响输出。作者提出了一种简单方法:拟合核岭回归(KRR)并计算拟合预测器的平均梯度外积(AGOP),证明其前 $r$ 个特征向量可准确恢复该子空间,即使预测误差仍较大时也成立。研究还表明,当目标函数的低阶部分包含所有预测相关方向时,子空间恢复所需的样本量远低于精确预测所需的样本量,揭示了预测与表示之间的差异。