多模态信息融合

Solution for 10th Competition on Ambivalence/Hesitancy (AH) Video Recognition Challenge using Divergence-Based Multimodal Fusion

第十届Ambivalence/Hesitancy（AH）视频识别挑战赛中基于分歧的多模态融合解决方案

Aislan Gabriel O. Souza, Agostinho Freire, Leandro Honorato Silva, Igor Lucas B. da Silva, João Vinícius R. de Andrade, Gabriel C. de Albuquerque, Lucas Matheus da S. Oliveira, Mário Stela Guerra, Luciana Machado

机构 * Universidade de Pernambuco（巴伊亚大学） ； Escola Politécnica de Pernambuco（巴伊亚理工学院） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(title,abstract)；分类 cs.CV

AI总结 本文提出基于分歧的多模态融合方法，通过测量视觉、音频和文本通道间的跨模态冲突，提升AH识别性能，在BAH数据集上达到0.6808的宏F1分数，优于基准线。