The Effect of Training Task Diversity on In-Context Learning through the Lens of Low-Dimensional Subspaces
训练任务多样性对上下文学习的影响：基于低维子空间的视角
机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学）
AI总结 本文通过低秩高斯混合模型分析训练任务多样性（由子空间非重叠列数定义）如何提升线性注意力上下文学习的泛化与优化，解释训练多样性缩短学习平台期及实现分布外泛化的现象，并扩展至非线性场景。
