Preference Leakage: A Contamination Problem in LLM-as-a-judge
偏好泄露:作为判断者的LLM中的污染问题
机构 * Arizona State University(亚利桑那州立大学) ; University of California, Los Angeles(加州大学洛杉矶分校) ; University of Notre Dame(诺丁汉大学) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 本文提出偏好泄露问题,揭示LLM作为判断者时因数据生成器与评估者相关性导致的偏见,并通过实验验证其普遍存在性和检测难度。
Comments Accepted by ICLR 2026