DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks
DeepSWE:在原始的、长周期工程任务上评估前沿编码智能体
机构 * Datacurve
专题命中 软件智能体 :coding agent(title,abstract);分类 cs.SE、cs.LG
AI总结 研究针对编码智能体评估,指出多数基准测试存在的问题。提出DeepSWE基准测试,其任务从零编写,用手写验证器评分,能避免相关问题,在区分智能体等方面表现出色,还发布了基准测试等相关内容。
Comments 32 pages, 10 figures. Code and data: https://github.com/datacurve-ai/deep-swe ; https://deepswe.datacurve.ai/