SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors
SURGE: 大型语言模型作为通用代理代码执行器的潜力
机构 * Department of Computer Science and Technology, Tsinghua(清华大学计算机科学与技术系) ; Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua(清华大学交叉信息研究院)
专题命中 代码评测 :repository(abstract);分类 cs.CL、cs.LG
AI总结 提出SURGE基准,包含1160个问题覆盖8个关键方面,通过评估21个开源和专有LLM,研究其作为代码执行预测代理模型的可行性、扩展律、数据效率和预测准确性。
Journal ref Proceedings of The 2025 Conference on Empirical Methods in Natural Language Processing