SWE-QA: Can Language Models Answer Repository-level Code Questions?
SWE-QA: 语言模型能否回答仓库级代码问题?
机构 * Shanghai Jiao Tong University(上海交通大学)
专题命中 软件智能体 :repository(title,abstract);分类 cs.SE、cs.CL、cs.PL
AI总结 本文提出SWE-QA基准,旨在研究自动化QA系统在真实代码环境中的能力,包含576个高质量问题对,涵盖意图理解、跨文件推理和多跳依赖分析,评估六种先进LLM在不同上下文增强策略下的表现。
Comments Accepted to ACL 2026 Findings. Code and data available at https://github.com/peng-weihan/SWE-QA-Bench