Cisco（思科）

AgentDS Technical Report: Benchmarking the Future of Human-AI Collaboration in Domain-Specific Data Science

AgentDS技术报告：领域特定数据科学中人机协作的未来基准测试

An Luo, Jin Du, Xun Xian, Robert Specht, Fangqiao Tian, Ganghua Wang, Xuan Bi, Charles Fleming, Ashish Kundu, Jayanth Srinivasa, Mingyi Hong, Rui Zhang, Tianxi Li, Galin Jones, Jie Ding

机构 * School of Statistics, University of Minnesota（明尼苏达大学统计学系） ； AIScientists, Inc.（AIScientists公司） ； Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） ； Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院） ； Cisco Research（思科研究） ； Department of Electrical and Computer Engineering, University of Minnesota（明尼苏达大学电气与计算机工程系） ； Division of Computational Health Sciences, University of Minnesota（明尼苏达大学计算健康科学 division） 纠错

AI总结 提出AgentDS基准测试和竞赛，通过17个跨行业挑战评估AI代理及人机协作在领域特定数据科学中的表现，发现AI代理在领域推理上存在不足，人机协作优于纯AI方法。