Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows
Spider 2.0-AIFunc:将现实世界的文本到SQL扩展到人工智能原生SQL工作流程
机构 * UC San Diego(加州大学圣地亚哥分校) ; Snowflake AI Research(Snowflake人工智能研究院) ; University of Hong Kong(香港大学)
专题命中 Agent评测 :agent(abstract);分类 cs.AI、cs.CL
AI总结 研究针对现有文本到SQL基准无法评估模型生成人工智能原生SQL能力的问题,构建Spider 2.0-AIFunc基准,经特定管道和多轮验证,评估十个先进语言模型,发现准确率差距及传统代理框架转移无效等情况。
Comments 24 pages, 3 figures, 7 tables