GRP: Goal-Reversed Prompting for Zero-Shot Evaluation with LLMs
AI总结 本文提出了一种名为Goal-Reversed Prompting(GRP)的新方法,用于改进基于大语言模型(LLM)的零样本评估。该方法通过让评估模型判断两个候选答案中“较差”的一个,再通过排除法确定偏好,从而提升评估准确性。实验表明,GRP在多个评估任务中显著提升了判断模型的性能,尤其在推理和数学任务中效果更为明显,且该方法兼容多种提示模板,无需额外推理轮次。
Comments Ongoing Work