Croissant Baker: Metadata Generation for Discoverable, Governable, and Reusable ML Datasets
饼干师:用于可发现、可治理和可重用的机器学习数据集元数据生成
机构 * Technical University of Munich(慕尼黑技术大学) ; Massachusetts Institute of Technology(麻省理工学院) ; Helmholtz Munich(海德堡-慕尼黑研究所以及医学中心) ; Barcelona Supercomputing Center(巴塞罗那超级计算中心) ; Google(谷歌) ; Couchbase(Couchbase公司) ; University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校) ; Nutanix(Nutanix公司) ; Georg-August-University Göttingen(哥廷根大学) ; Salesforce(Salesforce公司) ; Sage Bionetworks(Sage Bionetworks公司) ; Dotphoton(Dotphoton公司) ; Harvard University(哈佛大学) ; Eindhoven University of Technology(埃因霍温理工大学) ; Bayer AG(拜耳公司) ; Independent Researcher(独立研究者) ; Massachusetts General Hospital(麻省总医院) ; Columbia University(哥伦比亚大学)
AI总结 本文提出Croissant Baker,一种本地优先的开源命令行工具,可直接从数据集目录生成验证过的Croissant元数据,通过模块化处理程序注册表,支持大规模数据集,如MIMIC-IV,达到97-100%的准确率。
Comments 23 pages, 5 figures, 11 tables. Project: https://lcp.mit.edu/croissant-baker/ Code: https://github.com/MIT-LCP/croissant-baker