Higher Embedding Dimension Creates a Stronger World Model for a Simple Sorting Task
更高的嵌入维度为简单排序任务创建更强的世界模型
机构 * California Institute of Technology（加利福尼亚理工学院） ； Google DeepMind（谷歌DeepMind） ； Cornell University（康奈尔大学）
AI总结 研究在强化学习训练的变压器中嵌入维度对内部“世界模型”的影响，发现更高维度能产生更好的内部表示，经数百实验观察到两种机制，结果证明变压器构建结构化内部世界模型且模型大小可提升表示质量。
