PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming
PLSQLBench:面向可执行过程式数据库编程的大语言模型系统基准测试
机构 * Oracle AI, Turing Enterprise Inc(Oracle AI 图灵企业公司)
专题命中 代码评测 :code generation(abstract);分类 cs.CL
AI总结 本研究提出首个过程式数据库编程基准PLSQLBench,含2865个任务实例,经8个LLM实验发现其在多方面存在困难,工具增强智能体性能有提升但仍有差距,凸显了传统基准未覆盖的能力。