OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion
OmniFusion: 通过模块融合实现多语言多模态翻译
机构 * Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院) ; SAP SE(SAP公司)
专题命中 其他推理 :reasoning(abstract);分类 cs.CL、cs.AI
AI总结 本文提出OmniFusion系统,通过融合预训练多模态基础模型与翻译LLM,实现语音、语音加图像及文本加图像的多语言多模态翻译,降低SimulST延迟并提升翻译质量。
Comments Revised submission in review for ACL ARR