What Should Embeddings Embed? Autoregressive Models Represent Latent Generating Distributions
嵌入应该嵌入什么?自回归模型表示潜在生成分布
机构 * Department of Computer Science(计算机科学系) ; Princeton University(普林斯顿大学) ; Stanford University(斯坦福大学) ; Department of Linguistics and Wu Tsai Institute(语言学系和吴泰教授研究所) ; Yale University(耶鲁大学) ; Anthropic(Anthropic公司) ; Departments of Psychology and Computer Science(心理学系和计算机科学系)
AI总结 本文探讨了自回归模型中嵌入应代表的潜在生成分布,并通过实验证明了其在不同场景下的有效性。
Comments 28 pages, 11 figures
Journal ref Transactions on Machine Learning Research. 2025. https://openreview.net/forum?id=YyMACp98Kz