ServiceNow

EnterpriseOps-Gym: Environments and Evaluations for Stateful Agentic Planning and Tool Use in Enterprise Settings

EnterpriseOps-Gym：面向企业场景的状态ful代理规划与工具使用的环境与评估

Shiva Krishna Reddy Malay, Shravan Nayak, Jishnu Sethumadhavan Nair, Sagar Davasam, Aman Tiwari, Sathwik Tejaswi Madhusudhan, Sridhar Krishna Nemala, Srinivas Sunkara, Sai Rajeswar

机构 * ServiceNow Research（ServiceNow研究院） 纠错

AI总结 本文提出EnterpriseOps-Gym基准，用于评估企业环境中代理的规划能力。通过164个数据库表和512个功能工具模拟真实工作摩擦，评估14种前沿模型，发现状态-of-the-art模型在战略推理上存在显著不足，且代理常无法拒绝不可行任务。