Latent Lattice Language Models
机构 * MIT CSAIL(麻省理工学院计算机科学与人工智能实验室) ; Adobe(奥多比公司)
AI总结 该研究提出隐格语言模型,通过每层持续的隐式计算状态增强语言模型,在200亿token训练的模型上显著降低困惑度,可与现有架构结合并优于更大规模的基线模型。
Comments Project page: https://shivamduggal4.github.io/latent-lattice-language-model/