SciCodePile: A 128GB Corpus and Executable Benchmark for Challenging Scientific Code Generation
SciCodePile:用于具有挑战性的科学代码生成的128GB语料库和可执行基准测试
机构 * Singapore Management University(新加坡管理大学) ; Nanjing University(南京大学) ; SUN YAT-SEN University(孙中山大学) ; Home Team Science & Technology Agency(家庭团队科技局)
专题命中 代码生成 :code generation(title,abstract);分类 cs.SE、cs.AI
AI总结 研究大型语言模型处理科学代码的能力,提出SciCodePile语料库及可执行基准测试,评估15个模型在三项任务上的表现,发现科学代码生成极具挑战,同时展示了该语料库在训练上的效用,代码和数据可获取。