Where Does Agent Reliability Come From? A Cross-Benchmark Decomposition of Verification Loops, Specialist Models, and Scaffolding in a Production Enterprise Agent
智能体可靠性源自何处?生产企业智能体中验证循环、专家模型和脚手架的跨基准分解
机构 * Leni Inc.(Leni公司)
专题命中 Agent评测 :agent(title,abstract);分类 cs.AI、cs.SE
AI总结 研究多步骤企业智能体任务失败问题,以生产系统Leni为研究对象,其含验证循环等。通过在三个基准测试评估,发现完整系统有提升。核心贡献是分解提升来源,指出大部分来自脚手架等,验证步骤单独贡献小但作用关键,还得出相关矩阵和模型等结论。
Comments 19 pages, 5 figures, 5 tables. Evaluations conducted March-April 2026. Run-level evaluation record and audit scripts: https://github.com/arnabdastidar/leni-agent-evals