LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization
LM-SPT:面向语音标记化的LM对齐语义蒸馏
机构 * Department of Artificial Intelligence, Korea University(韩国大学人工智能系) ; Multi-modal Model Training, Kakao Corp(Kakao公司多模态模型训练部)
专题命中 其他安全 :alignment(abstract);分类 cs.CL、cs.AI
AI总结 提出LM-SPT方法,通过语义语音重合成蒸馏,在不降低帧率的情况下生成与语言模型更对齐的离散语音标记,在ASR和TTS任务中优于现有方法。