ACES: Who Tests the Tests? Leave-One-Out AUC Consistency for Code Generation
ACES: 谁测试测试?留一法AUC一致性用于代码生成
机构 * National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室) ; School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
专题命中 代码生成 :code generation(title,abstract);分类 cs.LG
AI总结 本文提出ACES方法,通过留一法AUC评估测试区分正确与错误代码的能力,解决测试正确性判断的循环依赖问题,实现代码生成的高精度筛选。
Comments 32 pages, 14 figures, 9 tables