Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models
表示能力:Transformer语言模型中特征表示的几何限制
机构 * Arizona State University(亚利桑那州立大学)
AI总结 基于线性表示和叠加假设,通过嵌入矩阵的余弦相似度分布估计模型可支持的近正交方向数量,推导出容量公式,并发现容量对偏差ε指数敏感。
Comments 22 pages, 10 figures. Submitted to NeurIPS 2026. This is a condensed version of thesis: https://hdl.handle.net/2286/R.2.N.204857