SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment
SkillAudit:从固定套件基准测试到以技能为中心的评估
机构 * Northeastern University(东北大学) ; City University of Hong Kong(香港城市大学) ; Northwestern University(西北大学) ; Fudan University(复旦大学) ; University of Science and Technology of China(中国科学技术大学) ; Santa Clara University(圣克拉拉大学) ; Fenz AI ; Ohio State University(俄亥俄州立大学) ; University of Glasgow(格拉斯哥大学) ; National University of Singapore(新加坡国立大学) ; DeciLix Lab(DeciLix实验室)
专题命中 Agent评测 :agent(abstract);分类 cs.AI
AI总结 提出SkillAudit框架,自动生成技能的多维度评估报告,涵盖效用、效率/成本和安全性,通过基线比较和两阶段检测解决固定套件评估的不足。
Comments Preprint. Project page: https://skillaudit.github.io/. Code and evaluation artifacts: https://github.com/SkillAudit/skillaudit