多模态信息融合

Multimodal Fusion for Fine-Grained Classification of Breast Fibroadenoma and Phyllodes Tumors

乳腺纤维腺瘤与叶状肿瘤细粒度分类的多模态融合

Chuxi Nan, Di Wu, Hongming Guo, Ning Cao, Xiaohui Zhu, Zhaoting Shi, Jiawei Li

机构 * School of Integrated Circuits, Wuxi Vocational College of Science and Technology（集成电路学院，无锡科学技术职业技术学院） ； School of Advanced Technology, Xi’an Jiaotong-Liverpool University（先进科技学院，西安交通大学利物浦大学） ； Shanghai Gem Science and Technology Co., Ltd.（上海 gems 科技有限公司） ； Department of Oncology, Shanghai Medical College, Fudan University（肿瘤科，复旦大学上海医学院） ； Department of Medical Ultrasound, Fudan University Shanghai Cancer Center（医学超声科，复旦大学上海癌症中心） 纠错

专题命中 医学影像融合 ：multimodal fusion(title)；分类 cs.CV

AI总结 针对B超下乳腺纤维腺瘤和叶状肿瘤高度重叠导致误诊的问题，构建FAPT-M多模态数据集，提出临床引导的多模态框架，集成视觉、文本和临床特征，通过自适应调制、跨模态Transformer和双路径表示学习，实现细粒度分类，准确率77.64%，AUC 89.74%。