University of Toronto（多伦多大学）

Pre-Training for Simulation-Based Science: A Study on Jet Foundation Model Training Objectives

基于模拟的科学预训练：喷注基础模型训练目标研究

Ibrahim Elsharkawy, Joschka Birk, Vinicius Mikuni, Wahid Bhimji, Gregor Kasieczka, Benjamin Nachman

机构 * Department of Physics, University of Toronto and Vector Institute（物理系，多伦多大学和向量研究所） ； NERSC, Lawrence Berkeley National Laboratory（NERSC，伯克利国家实验室） ； Institut für Experimentalphysik, Universität Hamburg（实验物理研究所，汉堡大学） ； Nagoya University, Kobayashi-Maskawa Institute（名古屋大学，小林昭夫研究所） ； Department of Particle Physics and Astrophysics, Stanford University（粒子物理与天体物理系，斯坦福大学） ； Fundamental Physics Directorate, SLAC National Accelerator Laboratory（基础物理局，SLAC国家加速器实验室） 纠错

AI总结 本文系统比较了高能物理中基础模型的预训练方法，发现纯分类预训练在标签充足时最优，结合自监督掩码粒子建模在低标签场景下表现突出，而流匹配生成预训练对下游分类无益，但必须包含在预训练目标中才能提升生成任务。