SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?
SWE-bench Science:编码智能体能解决科学领域的工程任务吗?
专题命中 软件智能体 :coding agent(title,abstract);repository(abstract);分类 cs.SE、cs.CL
AI总结 本研究推出SWE-bench Science基准,含20个领域98个仓库的119项任务,评估发现最优智能体pass@1低于50%,揭示科学软件工程的挑战,分析四类失败机制并经消融实验明确科学知识的作用,为编码智能体研究提供测试平台。
Comments 26 pages, 7 figures