Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment Systems
超越任务成功:衡量基于大语言模型的代理支付系统的工作流保真度
机构 * School of Computing and Information Systems, Singapore Management University(新加坡管理学院) ; School of Computing(计算学院) ; Research and Development, Mastercard(Mastercard研发)
专题命中 工作流自动化 :agentic(title,summary_cn);workflow(title,abstract);agent(abstract,abstract_cn);multi-agent(abstract)
AI总结 本文提出Agentic Success Rate(ASR)指标,用于评估代理系统执行序列的保真度,发现18个模型中有10个在支付流程中跳过确认检查点,而GPT-4.1虽任务成功率为完美但存在隐藏的快捷方式,ASR诊断指导的提示优化显著提升了任务成功率。
Comments 6 pages, 2 tables. Accept at AI and Data Science for Digital Finance (AIDS4DF) Workshop, PAKDD 2026