Learning Perturbations to Extrapolate Your LLM
学习扰动以扩展你的大语言模型
机构 * School of Mathematics, University of Bristol(布里斯托大学数学学院) ; School of Statistics and Data Science, Shanghai University of Finance and Economics(上海财经大学统计与数据科学学院) ; School of Mathematics, University of Birmingham(伯明翰大学数学学院) ; Department of Statistics, London School of Economics and Political Science(伦敦政治经济学院统计系)
专题命中 领域大模型 :LLM(title);large language model(abstract);language model(abstract);分类 cs.LG
AI总结 本文提出通过学习连续潜在向量的变换来扰动标记前缀,以提升大语言模型的外推性能,通过无偏估计方程和随机梯度下降优化,实验证明在跨域任务中优于现有方法。
Comments 35 pages