Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity
你确定你确定吗?指令微调对置信度和词汇多样性的影响
机构 * Cohere Labs(Cohere实验室) ; Laboratoire Hubert Curien(于贝尔·居里实验室) ; Bennett University(班尼特大学) ; Western University(西安大略大学)
专题命中 指令微调 :instruction tuning(title,abstract);language model(abstract);分类 cs.CL、cs.AI
AI总结 本文研究指令微调对语言模型置信度与生成理由词汇多样性的影响,发现指令微调虽小幅降低校准度但显著改变置信度,且对理由多样性的影响存在差异,二者是指令微调的不同效应。