One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows
单次成功并非可靠:Thinkingbox——面向有状态业务工作流智能体的沙箱与基准测试集
机构 * University of Pittsburgh(匹兹堡大学) ; Northwestern University(西北大学) ; University of California Irvine(加州大学欧文分校) ; Microsoft(微软公司)
专题命中 机器人数据与评测 :navigation(abstract)
AI总结 研究人员推出面向有状态业务工作流智能体的沙箱Thinkingbox及基准测试集Thinkingbox-bench,发现现有智能体在该基准上可靠完成任务的表现远逊于单次成功表现,凸显了端到端任务可靠评估的必要性。