Dan Jurafsky

Learning Concepts, Not Tokens: Self-Supervised Semantic Alignment for Language Models

学习概念，而非词元：语言模型的自我监督语义对齐

Christine Zhang, Dan Jurafsky, Chen Shani

机构 * Stanford University（斯坦福大学） 纠错

AI总结 提出一种自我监督框架，通过预测语义等价词元集合（概念）替代下一个词元预测，提升语言模型的语义对齐能力，并在分类、聚类、重排序及下游推理任务中取得更优性能。