University of Toronto（多伦多大学）

Sky sphere representation in language models

语言模型中的天球表示

Aleksandr Berdnikov, Yevgeny Liokumovich

机构 * Fields Institute（菲尔兹研究所） ； Principles of Intelligence（智能原理机构） ； University of Toronto（多伦多大学） 纠错

AI总结 研究约1000亿参数的语言模型是否存在可从残差流解码的夜空图表示，发现多数开源模型具备该表示，其性能指标优异且为首个弯曲高维不可约特征流形实例，相关代码已公开。