University of Maryland, College Park（马里兰大学帕克分校）

Learning Pseudorandom Numbers with Transformers: Permuted Congruential Generators, Curricula, and Interpretability

利用Transformer学习伪随机数：排列同余生成器、课程学习与可解释性

Tao Tao, Maissam Barkeshli

机构 * Department of Physics, University of Maryland, College Park, USA（大学物理系，马里兰大学，College Park, USA） ； Meta FAIR Joint Quantum Institute, University of Maryland（Meta FAIR联合量子研究所，马里兰大学） 纠错

AI总结 本研究探讨了Transformer模型学习排列同余生成器生成的序列能力，揭示了课程学习在处理大模数时的重要性，并发现嵌入层中存在位旋转不变的聚类现象。

Comments 10+13 pages, 8+21 figures

Journal ref International Conference on Learning Representations (ICLR) 2026