AutoLab: Can Frontier Models Solve Long-Horizon Auto Research and Engineering Tasks?
AutoLab:前沿模型能否解决长周期自动研究与工程任务?
机构 * MIT(麻省理工学院) ; Stanford University(斯坦福大学) ; University of California, Berkeley(加州大学伯克利分校) ; University of California, Los Angeles(加州大学洛杉矶分校) ; University of California, San Diego(加州大学圣地亚哥分校) ; University of Washington(华盛顿大学) ; University of Toronto(多伦多大学) ; University of Michigan(密歇根大学) ; National University of Singapore(新加坡国立大学) ; University of Tokyo(东京大学)
AI总结 本文提出AutoLab基准,通过36个专家策划的长周期闭环优化任务评估前沿模型,发现持续迭代和利用经验反馈比初始尝试质量更重要。
Comments Code: https://github.com/autolabhq/autolab ; Website: https://autolab.moe/