POTSA: A Cross-Lingual Speech Alignment Framework for Speech-to-Text Translation
POTSA:一种用于语音到文本翻译的跨语言语音对齐框架
机构 * Tianjin Key Laboratory of Cognitive Computing and Application, Tianjin University(天津大学认知计算与应用天津市重点实验室) ; Nanyang Technological University(南洋理工大学) ; Huiyan Technology Company, Ltd.(慧眼科技有限公司) ; Chinese Academy of Sciences(中国科学院) ; Tibet University(西藏大学)
AI总结 本文提出POTSA框架,通过最优传输和跨语言平行语音对缓解多语言语音翻译中的语义偏见问题,实验显示在FLEURS数据集上取得SOTA性能,提升BLEU分数。