SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents
SkillGenBench: 评估LLM代理技能生成流水线的基准测试
机构 * SJTU(上海交通大学) ; XJTU(西安交通大学) ; NUS(新加坡国立大学) ; QuantaAlpha(量子Alpha) ; THU(清华大学) ; SUFE(上海财经大学) ; NTU(国立.ntu) ; PKU(北京大学) ; UCAS(中国科学技术大学)
AI总结 本文提出SkillGenBench,一个用于评估LLM代理技能生成流水线的基准测试,通过统一可控的协议评估技能生成过程,涵盖任务条件生成和任务无关生成两种模式,以及基于仓库和文档的两种程序来源,揭示技能生成在不同数据源中的表现差异。