多模态信息融合

Stable Hybrid Cross-Attention Fusion for Audio-Visual Event Recognition

用于音视频事件识别的稳定混合交叉注意力融合

Parinaz Binandeh Dehaghani, Danilo Pena, A. Pedro Aguiar

专题命中 音视频/视觉语言融合 ：hybrid fusion(abstract)；分类 eess.SP

AI总结 提出一种结合VideoMAE和AST的混合交叉注意力融合框架，通过FiLM音频条件、双向交叉注意力融合和多模态Transformer编码，在AVE数据集上达到91.74%的验证准确率和83.85%的测试准确率。

Comments 6 pages, 4 Figures

SMAC: Spatial-Modal Joint Modeling and Adaptive Representation Collapse for Multimodal Object Tracking

SMAC: 空间-模态联合建模与自适应表示崩溃的多模态目标跟踪

Meijing Gao, Qitai Sun, Huanyu Sun, Bingxuan Yang, Bingzhou Sun, Xu Chen, Yonghao Yan, Yuxuan Yang

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 eess.IV

AI总结 针对复杂光照下多模态多目标跟踪中空间与模态特征联合建模不足及固定融合策略适应性有限的问题，提出基于空间-模态卷积融合和蒸馏提示的多模态跟踪框架，通过解耦3D卷积、幅相分解和表示崩溃网络实现自适应融合，在UniRTL数据集上取得领先性能。

Comments 12 pages, 16 figures. Code and pretrained models are available at https://github.com/QitaiSun/SMAC