Competence, Not Accuracy: A Diagnostic for Reference-Free Judge Gates in Skill Optimization
能力而非准确率:技能优化中无参考评判门的诊断方法
机构 * University of California, Los Angeles(加利福尼亚大学洛杉矶分校) ; Shanghai Jiao Tong University(上海交通大学) ; Arizona State University(亚利桑那州立大学) ; Eastern Institute of Technology(东方理工学院)
AI总结 该研究提出技能优化中无参考评判门的预部署诊断方法,发现评判器能力需超1/k才具可用性,其基准准确率高估关键能力,可预测门控错误。
Comments 9 pages, 4 figures, 5 tables