多模态信息融合

Crab: Multi Layer Contrastive Supervision to Improve Speech Emotion Recognition Under Both Acted and Natural Speech Condition

Crab：多层对比监督以提升在表演和自然语音条件下的语音情感识别

Lucas H. Ueda, João G. T. Lima, Paula D. P. Costa

机构 * Dept. of Computer Engineering and Automation (DCA), Faculdade de Engenharia Elétrica e de Computação（计算机工程与自动化系（DCA）、电气与计算机工程学院） ； AI Lab.（人工智能实验室） ； Institute of Computing, Universidade Estadual de Campinas, UNICAMP（计算学院，坎皮纳斯州立大学，UNICAMP） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)

AI总结 本文提出Crab模型，通过多层对比监督策略提升语音情感识别在表演和自然语音条件下的性能，采用跨模态Transformer架构和多任务对比学习，有效解决类别不平衡问题。

Comments IEEE Transactions on Affective Computing submission