PRL-Bench: A Comprehensive Benchmark Evaluating LLMs' Capabilities in Frontier Physics Research
PRL-Bench: 一个全面的基准,评估大语言模型在前沿物理研究中的能力
机构 * School of Artificial Intelligence(人工智能学院) ; Zhiyuan College(智远学院) ; School of Physics and Astronomy(物理天文学院) ; Tsung-Dao Lee Institute(李政道研究所) ; State Key Laboratory of Dark Matter Physics(暗物质物理国家重点实验室) ; Shanghai Innovation Institute(上海创新研究院) ; Institute of Theoretical Physics(理论物理研究所) ; Chinese Academy of Sciences(中国科学院) ; Zhejiang Lab(浙江实验室) ; SciLand ; DP Technology(DP技术)
专题命中 推理评测 :reasoning(abstract);分类 cs.AI、cs.LG
AI总结 PRL-Bench通过理论和计算物理的科研导向评估,系统测试大语言模型执行端到端物理研究的能力,揭示当前LLM在真实科研需求中的不足。
Comments 15 pages, 5 figures