Oracle（甲骨文）

PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming

PLSQLBench：面向可执行过程式数据库编程的大语言模型系统基准测试

Marianne Menglin Liu, Leonid Boytsov, Daniel W. Peterson, Pramuditha Perera, Rongguang Wang, Sai Ashish Somayajula, Syed Hamza Rafique, Rohit Saini, Shubham Pathak, Sujeeth Bharadwaj, Tao Sheng, Graham Horwood, Fahad Shah, Ankan Bansal, Sujith Ravi, Dan Roth

机构 * Oracle AI, Turing Enterprise Inc（Oracle AI 图灵企业公司） 纠错

AI总结 本研究提出首个过程式数据库编程基准PLSQLBench，含2865个任务实例，经8个LLM实验发现其在多方面存在困难，工具增强智能体性能有提升但仍有差距，凸显了传统基准未覆盖的能力。