Symmetry in language statistics shapes the geometry of model representations
语言统计中的对称性塑造了模型表示的几何结构
机构 * UC Berkeley(加州大学伯克利分校) ; EPFL(瑞士联邦理工学院洛桑分校) ; Johns Hopkins(约翰斯·霍普金斯大学) ; Google DeepMind(谷歌DeepMind)
AI总结 本文证明语言统计中的平移对称性(如月份共现频率仅取决于时间间隔)决定了词嵌入模型的高维几何结构,并推导出表示流形的解析形式,该几何在统计扰动下仍保持鲁棒。
Comments ICML 2026