Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability
一致性作为可检验的属性:评估AI代理可靠性的统计方法
机构 * Northeastern University(东北大学) ; University of Pécs(佩奇大学) ; University of Michigan(密歇根大学) ; AT&T Chief Data Office(AT&T首席数据办公室) ; Indian Institute of Management Bangalore(班加罗尔印度管理学院)
AI总结 本文提出了一种评估AI代理可靠性的统计方法,通过输出级可靠性和轨迹级稳定性指标,揭示代理核心能力与执行鲁棒性之间的差异,验证了轨迹一致性指标在诊断敏感性上的优势。
Comments 33 pages, 5 figures, 2 tables