The Effect of Training Task Diversity on In-Context Learning through the Lens of Low-Dimensional Subspaces
训练任务多样性对上下文学习的影响:基于低维子空间的视角
机构 * University of California, Berkeley(加州大学伯克利分校) ; University of Washington(华盛顿大学) ; University of California, Los Angeles(加州大学洛杉矶分校) ; Stanford University(斯坦福大学) ; University of Toronto(多伦多大学)
AI总结 本文通过低秩高斯混合模型分析训练任务多样性(由子空间非重叠列数定义)如何提升线性注意力上下文学习的泛化与优化,解释训练多样性缩短学习平台期及实现分布外泛化的现象,并扩展至非线性场景。