ReCUBE: Evaluating Repository-Level Context Utilization in Code Generation
ReCUBE:评估代码生成中仓库级上下文利用
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Emory University(埃默里大学)
专题命中 仓库级理解 :code generation(title,abstract);repository(title,abstract);分类 cs.SE、cs.AI
AI总结 ReCUBE基准测试评估LLM在代码生成中利用仓库级上下文的有效性,通过重建掩码文件并使用依赖关系和文档作为上下文,发现即使先进模型在完整上下文设置下也仅达到37.57%的通过率,而引入Caller-Centric Exploration工具包可显著提升性能。
Comments Under Review