多模态信息融合

USCNet: Transformer-Based Multimodal Fusion with Segmentation Guidance for Urolithiasis Classification

USCNet：基于Transformer的多模态融合与分割引导的尿路结石分类

Changmiao Wang, Songqi Zhang, Yongquan Zhang, Yifei Wang, Liya Liu, Nannan Li, Xingzhi Li, Jiexin Pan, Yi Jiang, Xiang Wan, Hai Wang, Ahmed Elazab

机构 * Shenzhen Research Institute of Big Data（深圳市大数据研究院） ； Zhejiang University of Finance and Economics（浙江财经大学） ； Anhui University of Finance and Economics（安徽财经大学） ； The Second Affiliated Hospital of Chinese University of Hong Kong (Longgang District People’s Hospital of Shenzhen)（香港中文大学第二附属医院（深圳市龙岗区人民医院）） 纠错

专题命中 医学影像融合 ：multimodal fusion(title,abstract)；分类 cs.CV

AI总结 USCNet通过融合CT图像与电子病历数据，利用Transformer架构实现尿路结石的预手术分类，提出动态损失函数平衡分割与分类任务，实验表明其分类效果优于现有方法。

Comments Accepted by IEEE Journal of Biomedical and Health Informatics. Early Access

Bridging MRI and PET physiology: Untangling complementarity through orthogonal representations

弥合MRI与PET生理学：通过正交表示解构互补性

Sonja Adomeit, Kartikay Tehlan, Lukas Förner, Katharina Weisser, Helen Scholtiseek, David Kaufmann, Julie Steinestel, Constantin Lapa, Thomas Kröncke, Thomas Wendler

机构 * Dept. of diagnostic and interventional Radiology and Neuroradiology, University Hospital Augsburg, Germany（德国奥格斯堡大学医院诊断与介入放射学及神经放射学系） ； Digital Medicine, University Hospital Augsburg, Germany（德国奥格斯堡大学医院数字医学） ； Chair for Computer Aided Medical Procedures and Augmented Reality, Technical University of Munich, Germany（德国慕尼黑工业大学计算机辅助医疗流程与增强现实教席） ； Bavarian Center for Cancer Research (BZKF) Augsburg, Germany（德国奥格斯堡巴伐利亚癌症研究中心） ； Dept. of Nuclear Medicine, University Hospital Augsburg, Germany（德国奥格斯堡大学医院核医学系） ； Dept. of Urology, University Hospital Augsburg, Germany（德国奥格斯堡大学医院泌尿外科） ； Center for Advanced Analytics and Predictive Sciences, University of Augsburg, Germany（德国奥格斯堡大学高级分析与预测科学中心） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出一种子空间分解框架，通过正交子空间分离重构多模态融合，区分共享信息与模态特有信息，揭示PSMA PET信号中不可由MRI生理描述恢复的部分。

Comments The code is available at https://github.com/SonjaA14/inrmri2pet