TextReg: Mitigating Prompt Distributional Overfitting via Regularized Text-Space Optimization
TextReg: 通过正则化的文本空间优化缓解提示分布过拟合
机构 * Georgia Institute of Technology(佐治亚理工学院) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 本文研究了提示分布过拟合问题,提出TextReg框架通过正则化的文本梯度实现软惩罚目标,结合双证据梯度净化、语义编辑正则化和正则化引导的提示更新,提升模型在分布外(OOD)任务上的泛化能力。
Comments Code: https://github.com/luchengfu6/TextReg