多模态信息融合

A Multimodal Deep Learning Framework for Edema Classification Using HCT and Clinical Data

一种结合头颅CT和临床数据的多模态深度学习框架用于水肿分类

Aram Ansary Ogholbake, Hannah Choi, Spencer Brandenburg, Alyssa Antuna, Zahraa Al-Sharshahi, Makayla Cox, Haseeb Ahmed, Jacqueline Frank, Nathan Millson, Luke Bauerle, Jessica Lee, David Dornbos, Qiang Cheng

机构 * University of Kentucky（肯塔基大学） ； Department of Computer Science, University of Kentucky（肯塔基大学计算机科学系） ； Department of Neurological Surgery, University of Kentucky（肯塔基大学神经外科学系） ； University of Kentucky College of Medicine（肯塔基大学医学院） ； Department of Neurology, University of Kentucky（肯塔基大学神经学系） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出AttentionMixer框架，通过融合头颅CT和临床数据实现脑水肿检测，采用自监督Vision Transformer Autoencoder编码CT数据，并利用交叉注意力模块整合临床信息，最终通过MLP-Mixer提升分类性能。