Scale AI

SciPredict: Can LLMs Predict the Outcomes of Scientific Experiments in Natural Sciences?

SciPredict: LLMs能否预测自然科学中的实验结果？

Udari Madhushani Sehwag, Elaine Lau, Haniyeh Ehsani Oskouie, Shayan Shabihi, Erich Liang, Andrea Toledo, Guillermo Mangialardi, Sergio Fonrouge, Ed-Yeremai Hernandez Cardona, Paula Vergara, Utkarsh Tyagi, Chen Bo Calvin Zhang, Pavi Bhatter, Nicholas Johnson, Furong Huang, Ernesto Gabriel Hernandez Montoya, Bing Liu

机构 * Scale AI ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Maryland（马里兰大学） ； Princeton University（普林斯顿大学） ； Human Frontier Collective（人类前沿集体） 纠错

AI总结 SciPredict通过405个实验任务评估LLM预测科学实验结果的准确性，发现模型表现低于人类专家，且无法区分可靠与不可靠的预测。