Cross-modal Consistency Guidance for Robust Emotion Control in Auto-Regressive TTS Models
跨模态一致性引导用于自动回归TTS模型中的鲁棒情绪控制
机构 * Alibaba-NTU Global e-Sustainability CorpLab(阿里-国立大学全球可持续发展公司实验室) ; Nanyang Technological University(南洋理工大学) ; College of Computing and Data Science(计算与数据科学学院) ; Alibaba(阿里) ; Alibaba Inc.(阿里公司)
AI总结 本文提出了一种基于文本情绪与显式语音情绪不一致程度的动态尺度的跨模态一致性引导分类器免费引导方法(CCG-CFG),通过使用文本情绪替代dropout条件,并采用硬样本挖掘策略蒸馏CCG-CFG引导信号,从而提升TTS模型的情绪对齐能力。在五个情感语料库和两个TTS基准测试中,该方法在CosyVoice2上实现了情绪识别准确率提升12%,主观评分提升10%,优于基线模型HierSpeech++、Qwen3-TTS和原始CosyVoice2,同时保持可懂性、自然度和高质量。
Comments Accepted to Interspeech 2026, short paper