Uncovering Spontaneous Physics Representations in In-Context Learning
揭示上下文学习中自发形成的物理表征
机构 * Department of Physics, KAIST(KAIST物理系) ; MPI for Security and Privacy, Germany(德国安全与隐私研究所) ; Center for Complex Systems, KAIST(KAIST复杂系统中心)
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本研究以动力学预测为代理任务,发现大语言模型无需物理特定监督,就能在上下文学习中自发形成与能量等物理概念对齐的表征,且该表征对预测有贡献,为ICL机制提供了物理解释。
Comments 15 pages, 10 figures