WhisperRT -- Turning Whisper into a Causal Streaming Model
WhisperRT -- 将Whisper转化为因果流式模型
机构 * Andrew and Erna Viterbi Faculty of Electrical and Computer Engineering, Technion–Israel Institute of Technology(以色列理工学院安德鲁与厄娜·维特比电气与计算机工程学院) ; Language Technologies Institute, School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院语言技术研究所)
AI总结 本文提出将Whisper模型转化为低延迟流式模型的方法,通过使编码器因果化并生成与可用时间上下文对齐的token,实现更高效的流式语音识别。
Comments 14 pages, 7 Figures, This work has been submitted to the IEEE for possible publication