Towards Apples to Apples for AI Evaluations: From Real-World Use Cases to Evaluation Scenarios
迈向公平的AI评估:从现实使用案例到评估场景
机构 * National Institute of Standards and Technollogy(国家标准与技术研究院) ; Carnegie Mellon University(卡内基梅隆大学)
AI总结 本文提出一种可重复的流程,通过结构化AI使用案例工作表将高层使用案例转化为详细场景,结合LLM提示和人工审查,生成107个场景,确保评估场景的现实性和人类需求。
Comments 23 pages, 3 figures