Quantifying Concentration Phenomena of Mean-Field Transformers in the Low-Temperature Regime
量化均场变换器在低温区的集中现象
机构 * Department of Mathematics(数学系) ; Friedrich-Alexander-University Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学) ; Institute of Mathematics(数学研究所) ; CAIDAS University of Würzburg(魏玛大学CAIDAS学院) ; University of Oxford(牛津大学) ; Reuben College(雷本学院) ; CIT School(CIT学院) ; Technical University of Munich(慕尼黑技术大学) ; Munich Center for Machine Learning(慕尼黑机器学习中心)
AI总结 本文研究了低温下均场变换器中token分布的集中现象,通过均场连续性方程和Wasserstein距离分析,证明token在初始分布投影下快速集中并保持亚稳态,揭示了动态在不同时间尺度下的终端阶段特性。
Comments 30 pages, 10 figures