Alipay-PIBench: A Realistic Payment Integration Benchmark for Coding Agents
支付宝-PIBench:用于编码代理的现实支付集成基准测试
机构 * Ant Group(蚂蚁集团)
专题命中 软件智能体 :coding agent(title,abstract);repository(abstract);分类 cs.SE、cs.AI
AI总结 研究旨在评估编码代理在支付宝支付集成任务中的表现,引入支付宝-PIBench基准测试,含九个产品项目和18个任务实例,分不同场景。通过评估六个编码代理模型得出评分通过率,发现有技能条件下RPR提升,为诊断模型能力和评估支付集成指导提供可控环境。