Scientific reasoning does not reliably translate into scientific forecasting in frontier AI
用人工智能预测科学进步
机构 * University of Oxford(牛津大学) ; Stanford University(斯坦福大学) ; Allen Institute for AI(人工智能研究所) ; Sakana AI
AI总结 本文研究了人工智能在预测科学进步中的能力,提出了一种基于时间的评估框架,并介绍了CUSP基准,通过可行性评估、机制推理、生成性解决方案设计和时间预测来评估AI系统的科学预测能力,发现当前前沿模型在不同领域存在系统性限制,且预测结果受事件发生时间影响较大,表明AI在科学预测中仍存在不足。
Comments 62 pages, 14 figures, 25 tables