多模态信息融合

Fusion is not one-size-fits-all: Cross-Modal Representation Alignment for Time-to-Event Modeling

融合并非一刀切：用于时间-事件建模的跨模态表示对齐

Zhemin Zhang, Weijie Chen, David Le, Amara Tariq, Alex Wallace, Matthew Stib, Juan Maria Farina, Chadi Ayoub, Reza Arsanjani, Imon Banerjee

机构 * Arizona State University（亚利桑那州立大学） ； Mayo Clinic（梅奥诊所） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)

AI总结 针对多模态临床数据中的模态不平衡和分布偏移问题，提出一种基于基础模型的跨模态对齐框架，通过四种融合策略在CT影像和纵向EHR数据间进行表示对齐，在肺栓塞死亡率和心血管疾病结局预测任务上验证了融合的有效性，并首次系统分析了时间-事件预测中的模态不平衡对融合行为的影响。