Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching
机构 * MIT(麻省理工学院) ; Arizona State University(亚利桑那州立大学) ; University of Texas at Austin(德克萨斯大学奥斯汀分校)
AI总结 该研究针对自回归语言模型微调的过拟合与灾难性遗忘问题,提出Ambient SFT框架,通过温度匹配利用预训练模型的不完美预测扩充微调集,在三类任务上较标准SFT获最高21%平均相对提升。
Comments Work in progress