代码大模型 / AI 编程

Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering

循环中的偏见：用于软件工程的LLM作为评判者的审计

Zixiao Zhao, Amirreza Esmaeili, Fatemeh Fard

机构 * University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 测试生成 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 本文研究了LLM作为评判者在代码评估中的偏见问题，通过测量优先的方法分析了代码生成、修复和测试生成任务中的评判制度，并发现提示偏见显著影响评判结果，甚至改变任务结论和模型排名。