CoQuIR: A Comprehensive Benchmark for Code Quality-Aware Information Retrieval
CoQuIR:面向代码质量感知信息检索的综合基准
机构 * Linköping University(林波伊大学) ; MBZUAI(麦肯锡人工智能研究院) ; TU Darmstadt(德累斯顿技术大学) ; Shanghai Jiao Tong University(上海交通大学) ; EPFL(苏黎世联邦理工学院) ; University of Groningen(Groningen大学) ; Google Tokyo(东京Google) ; Alibaba Group(阿里巴巴集团) ; TU Munich(慕尼黑技术大学)
专题命中 代码评测 :code generation(abstract);分类 cs.SE、cs.AI
AI总结 提出首个大规模多语言代码质量感知检索基准CoQuIR,涵盖正确性、效率、安全性和可维护性四维度,通过细粒度标注和两个质量中心指标评估23个模型,发现顶尖模型常无法区分有缺陷代码,并探索了训练方法以提升质量感知能力。