SWE Context Bench: A Benchmark for Context Learning in Coding
SWE Context Bench: 一个用于编码上下文学习的基准测试
机构 * Independent Researcher(独立研究员) ; University of Oxford(牛津大学) ; University of Edinburgh(爱丁堡大学) ; Technical University of Munich(慕尼黑工业大学) ; MemoraX AI ; National University of Singapore(新加坡国立大学) ; Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学) ; Carnegie Mellon University(卡内基梅隆大学)
AI总结 本文提出SWE-ContextBench基准,用于评估编程代理的上下文重用能力,通过1100个基础任务和376个相关任务,从GitHub问题和拉取请求中挖掘真实依赖关系,评估预测准确度、时间效率和成本效率。