多模态信息融合

Semantic Context-aware mOdality fUsion Transformer (SCOUT): A Context-Aware Multimodal Transformer for Concept-Grounded Pathology Report Generation

语义上下文感知的多模态融合变换器（SCOUT）：一种基于概念的多模态变换器，用于病理报告生成

Suryakant Singh, Saarthak Kapse, Joel Saltz, Prateek Prasanna

机构 * Stony Brook University（石桥大学） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 SCOUT通过整合局部组织学模式、整张滑片上下文和专家编纂的语义描述符，实现病理报告生成的语义上下文感知，提升临床相关性和可解释性。

Virtual-reality based patient-specific simulation of spine surgical procedures: A fast, highly automated and high-fidelity system for surgical education and planning

基于虚拟现实的患者特异性脊柱手术模拟：一种快速、高度自动化和高保真的系统，用于手术教育和规划

Raj Kumar Ranabhat, Tayler D Ross, Tony Jiao, Jeremie Larouche, Joel Finkelstein, Michael Hardisty

机构 * Holland Bone and Joint Program, Sunnybrook Research Institute（霍尔德骨科与关节程序，圣布鲁诺研究学院） ； Division of Spine Surgery, Sunnybrook Health Sciences Centre（脊柱外科部，圣布鲁诺健康科学中心） ； Division of Orthopaedic Surgery, Department of Surgery, University of Toronto（骨科部，外科部，多伦多大学） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出利用AI和计算机视觉生成患者特异性脊柱减压模拟，通过多模态融合和分割技术提高建模精度，提升手术教育和规划效率。

Align then Refine: Text-Guided 3D Prostate Lesion Segmentation

对齐后再细化：基于文本的3D前列腺病变分割

Cuiling Sun, Linkai Peng, Adam Murphy, Elif Keles, Hiten D. Patel, Ashley Ross, Frank Miller, Baris Turkbey, Andrea Mia Bejar, Halil Ertugrul Aktas, Gorkem Durak, Ulas Bagci

机构 * Department of Radiology, Northwestern University, Chicago, USA（放射科，西北大学，芝加哥，美国） ； Department of Urology, Northwestern University, Chicago, USA（泌尿科，西北大学，芝加哥，美国） ； Center for Cancer Research, National Cancer Institute, Bethesda, USA（癌症研究中心，国家癌症研究所，贝塞斯达，美国） 纠错

专题命中 医学影像融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 本文提出一种多编码器U-Net架构，通过引入对齐损失、热图损失和置信度门控多头交叉注意力细化模块，提升前列腺病变分割的精度和多模态融合能力。

Comments Accepted to EMBC 2026

A Dual Cross-Attention Graph Learning Framework For Multimodal MRI-Based Major Depressive Disorder Detection

一种双交叉注意力图学习框架用于多模态MRI基于重大抑郁障碍检测

Nojod M. Alotaibi, Areej M. Alhothali

机构 * King Abdulaziz University（阿卜杜勒阿齐兹国王大学） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出双交叉注意力融合框架，通过建模结构性MRI与功能型MRI的双向交互，提升多模态MRI在重大抑郁障碍检测中的性能，实验显示其在多种脑图谱类型中表现优异。

Comments 19 pages, 1 figure

Bridging MRI and PET physiology: Untangling complementarity through orthogonal representations

弥合MRI与PET生理学：通过正交表示解构互补性

Sonja Adomeit, Kartikay Tehlan, Lukas Förner, Katharina Weisser, Helen Scholtiseek, David Kaufmann, Julie Steinestel, Constantin Lapa, Thomas Kröncke, Thomas Wendler

机构 * Dept. of diagnostic and interventional Radiology and Neuroradiology, University Hospital Augsburg, Germany（德国奥格斯堡大学医院诊断与介入放射学及神经放射学系） ； Digital Medicine, University Hospital Augsburg, Germany（德国奥格斯堡大学医院数字医学） ； Chair for Computer Aided Medical Procedures and Augmented Reality, Technical University of Munich, Germany（德国慕尼黑工业大学计算机辅助医疗流程与增强现实教席） ； Bavarian Center for Cancer Research (BZKF) Augsburg, Germany（德国奥格斯堡巴伐利亚癌症研究中心） ； Dept. of Nuclear Medicine, University Hospital Augsburg, Germany（德国奥格斯堡大学医院核医学系） ； Dept. of Urology, University Hospital Augsburg, Germany（德国奥格斯堡大学医院泌尿外科） ； Center for Advanced Analytics and Predictive Sciences, University of Augsburg, Germany（德国奥格斯堡大学高级分析与预测科学中心） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出一种子空间分解框架，通过正交子空间分离重构多模态融合，区分共享信息与模态特有信息，揭示PSMA PET信号中不可由MRI生理描述恢复的部分。

Comments The code is available at https://github.com/SonjaA14/inrmri2pet

A Multimodal Deep Learning Framework for Edema Classification Using HCT and Clinical Data

一种结合头颅CT和临床数据的多模态深度学习框架用于水肿分类

Aram Ansary Ogholbake, Hannah Choi, Spencer Brandenburg, Alyssa Antuna, Zahraa Al-Sharshahi, Makayla Cox, Haseeb Ahmed, Jacqueline Frank, Nathan Millson, Luke Bauerle, Jessica Lee, David Dornbos, Qiang Cheng

机构 * University of Kentucky（肯塔基大学） ； Department of Computer Science, University of Kentucky（肯塔基大学计算机科学系） ； Department of Neurological Surgery, University of Kentucky（肯塔基大学神经外科学系） ； University of Kentucky College of Medicine（肯塔基大学医学院） ； Department of Neurology, University of Kentucky（肯塔基大学神经学系） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出AttentionMixer框架，通过融合头颅CT和临床数据实现脑水肿检测，采用自监督Vision Transformer Autoencoder编码CT数据，并利用交叉注意力模块整合临床信息，最终通过MLP-Mixer提升分类性能。

CoRe-BT: A Multimodal Radiology-Pathology-Text Benchmark for Robust Brain Tumor Typing

CoRe-BT：一种多模态放射科-病理科-文本基准，用于鲁棒性脑肿瘤分类

Juampablo E. Heras Rivera, Daniel K. Low, Xavier Xiong, Jacob J. Ruzevick, Daniel D. Child, Wen-wai Yim, Mehmet Kurt, Asma Ben Abacha

机构 * University of Washington（华盛顿大学） ； University of Washington School of Medicine（华盛顿大学医学院） ； Microsoft Health AI（微软健康人工智能） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 CoRe-BT提出一个多模态基准，用于在缺失模态条件下提升脑肿瘤分类的鲁棒性，通过整合MRI、病理图像和报告，推动多模态学习与表示学习的发展。

Comments Under review, MICCAI 2026

BiCLIP: Bidirectional and Consistent Language-Image Processing for Robust Medical Image Segmentation

BiCLIP: 用于鲁棒医学图像分割的双向和一致语言-图像处理

Saivan Talaei, Fatemeh Daneshfar, Abdulhady Abas Abdullah, Mustaqeem Khan

机构 * Department of Computer Engineering, University of Kurdistan, Iran（伊朗库尔德大学计算机工程系） ； Artificial Intelligence and Innovation Centre, University of Kurdistan, Erbil, Iraq（伊拉克埃尔比尔库尔德大学人工智能与创新中心） ； College of Information Technology, United Arab Emirates University, UAE（阿联酋大学信息科技学院） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 BiCLIP通过双向多模态融合和一致性目标提升医学图像分割的鲁棒性，有效应对标注稀少和临床伪影挑战。

Effective and Robust Multimodal Medical Image Analysis

高效且鲁棒的多模态医学图像分析

Joy Dhar, Nayyar Zaidi, Maryam Haghighat

机构 * Indian Institute of Technology Ropar（印度理工学院罗帕尔分校） ； Deakin University（德克萨斯大学） ； Queensland University of Technology（昆士兰理工大学） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出MAIL网络，通过高效残差学习和多模态交叉注意力模块，提升多模态医学图像分析的效率与鲁棒性，实现实验性能提升9.34%并降低计算成本78.3%。

Comments Accepted at Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

A Computer Vision Hybrid Approach: CNN and Transformer Models for Accurate Alzheimer's Detection from Brain MRI Scans

一种计算机视觉混合方法：CNN和Transformer模型用于从脑部MRI扫描中准确检测阿尔茨海默病

Md Mahmudul Hoque, Shuvo Karmaker, Md. Hadi Al-Amin, Md Modabberul Islam, Jisun Junayed, Farha Ulfat Mahi

机构 * Dept. of Computer Science \& Engineering, CCN University of Science 纠错

专题命中 医学影像融合 ：feature-level fusion(abstract)；分类 cs.CV

AI总结 本文提出了一种结合CNN和Transformer的混合模型Evan_V2，通过特征融合在脑MRI扫描中实现高准确率的阿尔茨海默病检测。

Imaging-anchored Multiomics in Cardiovascular Disease: Integrating Cardiac Imaging, Bulk, Single-cell, and Spatial Transcriptomics

心血管疾病中的成像锚定多组学：整合心脏成像、批量、单细胞和空间转录组学

Minh H. N. Le, Tuan Vinh, Thanh-Huy Nguyen, Tao Li, Bao Quang Gia Le, Han H. Huynh, Monika Raj, Carl Yang, Min Xu, Nguyen Quoc Khanh Le

机构 * International Ph.D. Program in Medicine, College of Medicine, Taipei Medical University, Taipei, Taiwan ； AIBioMed Research Group, Taipei Medical University, Taipei, Taiwan ； Medical Sciences Division, University of Oxford, Oxford, United Kingdom ； Computational Biology Department, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA ； Department of Computer Science, Emory University, Atlanta, GA, USA ； Department of Chemistry, Emory University, Atlanta, GA, USA ； International Master Program for Translational Science, College of Medical Science ； Technology, Taipei Medical University, Taipei 110, Taiwan ； In-Service Master Program in Artificial Intelligence in Medicine, College of Medicine, Taipei Medical University, Taipei, Taiwan ； Translational Imaging Research Center, Taipei Medical University Hospital, Taipei, Taiwan 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出通过整合心脏成像与多组学数据，推动心血管疾病研究的多模态融合方法，提升疾病诊断和治疗的精准性。

Generating crossmodal gene expression from cancer histopathology improves multimodal AI predictions

从癌症组织病理学生成跨模态基因表达以提高多模态AI预测

Samiran Dey, Christopher R. S. Banerji, Partha Basuchowdhuri, Sanjoy K. Saha, Deepak Parashar, Tapabrata Chakraborti

机构 * School of Mathematical & Computational Sciences, Indian Association for the Cultivation of Science（数学与计算科学学院，印度科学培养协会） ； The Alan Turing Institute（艾伦·图灵研究所） ； Comprehensive Cancer Center, King’s College London（国王学院综合癌症中心） ； Department of Computer Science and Engineering, Jadavpur University（计算机科学与工程系，贾瓦德pur大学） ； MRC Biostatistics Unit, University of Cambridge（剑桥大学医学研究委员会生物统计学单位） ； Department of Biostatistics, Bioinformatics and Biomathematics, Georgetown University（生物统计学、生物信息学与生物数学系，杰斐逊大学） ； UCL Cancer Institute, Dept of Medical Physics & Biomedical Engineering, University College London（伦敦大学学院癌症研究所，医学物理与生物医学工程系） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 PathGen通过生成跨模态基因表达提升癌症分级和生存风险预测的多模态AI性能

MGML: A Plug-and-Play Meta-Guided Multi-Modal Learning Framework for Incomplete Multimodal Brain Tumor Segmentation

MGML: 一种插件式元引导多模态学习框架用于不完整多模态脑肿瘤分割

Yulong Zou, Bo Liu, Cun-Jing Zheng, Yuan-ming Geng, Siyue Li, Qiankun Zuo, Shuihua Wang, Yudong Zhang, Jin Hong

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 MGML框架通过元引导和一致性正则化模块提升不完整多模态脑肿瘤分割性能。

Modality-Specific Enhancement and Complementary Fusion for Semi-Supervised Multi-Modal Brain Tumor Segmentation

模态特异性增强与互补融合用于半监督多模态脑肿瘤分割

Tien-Dat Chung, Ba-Thinh Lam, Thanh-Huy Nguyen, Thien Nguyen, Nguyen Lan Vi Vu, Hoang-Loc Cao, Phat Kim Huynh, Min Xu

专题命中 医学影像融合 ：information fusion(abstract)；分类 cs.CV

AI总结 本文提出了一种半监督多模态脑肿瘤分割框架，通过模态特异性增强模块和互补信息融合模块提升分割性能。

Comments 9 pages, 3 figures

Prediction of Distant Metastasis in Head and Neck Cancer Patients Using Tumor and Peritumoral Multi-Modal Deep Learning

利用肿瘤及周围多模态深度学习预测头颈癌患者远端转移

Nuo Tong, Changhao Liu, Zizhao Tang, Feifan Sun, Yingping Li, Shuiping Gou, Mei Shi

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本研究提出多模态深度学习模型，结合CT影像、放射组学和临床数据，用于预测头颈癌患者远端转移风险，通过多模态融合显著提高预测性能。

Comments 23 pages, 6 figures, 7 tables. Nuo Tong and Changhao Liu contributed equally. Corresponding Authors: Shuiping Gou and Mei Shi

MRI Embeddings Complement Clinical Predictors for Cognitive Decline Modeling in Alzheimer's Disease Cohorts

Nathaniel Putera, Daniel Vilet Rodríguez, Noah Videcrantz, Julia Machnio, Mostafa Mehdipour Ghazi

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

Comments Accepted at SPIE - Medical Imaging Conference 2026

Language-Enhanced Generative Modeling for Amyloid PET Synthesis from MRI and Blood Biomarkers

Zhengjie Zhang, Xiaoxie Mao, Qihao Guo, Shaoting Zhang, Qi Huang, Mu Zhou, Fang Xie, Mianxin Liu

机构 * organization= Shanghai Artificial Intelligence Laboratory , city= Shanghai , postcode= 200082 , country= China ； organization= School of Medicine, Xiamen University , city= Xiamen , state= Fujian , country= China ； organization= Department of Nuclear Medicine \& PET Center, Huashan Hospital, Fudan University , city= Shanghai , country= China ； organization= Department of Gerontology, Shanghai Jiao Tong University Affiliated Sixth People’s Hospital , city= Shanghai , country= China ； organization= Department of Computer Science, Rutgers University , city= New Brunswick , state= New Jersey , country= United States ； organization= Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences , city= Shenzhen , country= China 纠错

专题命中 医学影像融合 ：information fusion(abstract)；分类 cs.CV

Comments 31 pages, 8 figures

GateFuseNet: An Adaptive 3D Multimodal Neuroimaging Fusion Network for Parkinson's Disease Diagnosis

Rui Jin, Chen Chen, Yin Liu, Hongfu Sun, Min Zeng, Min Li, Yang Gao

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

Comments The first two authors contributed equally to this work. Correspondence to: Yang Gao, E-mail: yang.gao@csu.edu.cn

Wearable and Ultra-Low-Power Fusion of EMG and A-Mode US for Hand-Wrist Kinematic Tracking

Giusy Spacone, Sebastian Frey, Mattia Orlandi, Pierangelo Maria Rapa, Victor Kartsch, Simone Benatti, Luca Benini, Andrea Cossettini

专题命中 医学影像融合 ：sensor fusion(abstract)；分类 eess.SP

Comments 5 pages, 3 figures

PS3: A Multimodal Transformer Integrating Pathology Reports with Histology Images and Biological Pathways for Cancer Survival Prediction

Manahil Raza, Ayesha Azam, Talha Qaiser, Nasir Rajpoot

机构 * University of Warwick, UK（沃里克大学） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

Comments Accepted at ICCV 2025. Copyright 2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

Unified Multimodal Coherent Field: Synchronous Semantic-Spatial-Vision Fusion for Brain Tumor Segmentation

Mingda Zhang, Yuyang Zheng, Ruixiang Tang, Jingru Qiu, Haiyan Ding

机构 * School of Software, Yunnan University（云南大学软件学院） 纠错

专题命中 医学影像融合 ：information fusion(abstract)；分类 cs.CV

Comments 8 pages, 3 figures

ME-Mamba: Multi-Expert Mamba with Efficient Knowledge Capture and Fusion for Multimodal Survival Analysis

Chengsheng Zhang, Linhao Qu, Xiaoyu Liu, Zhijian Song

机构 * Digital Medical Research Center, School of Basic Medical Science, Fudan University, Shanghai 200032, China（复旦大学基础医学学院数字医学研究中心） ； Shanghai Key Lab of Medical Image Computing（上海医学图像计算重点实验室） 纠错

专题命中 医学影像融合 ：information fusion(abstract)；分类 cs.CV

Handcrafted vs. Deep Radiomics vs. Fusion vs. Deep Learning: A Comprehensive Review of Machine Learning -Based Cancer Outcome Prediction in PET and SPECT Imaging

Mohammad R. Salmanpour, Somayeh Sadat Mehrnia, Sajad Jabarzadeh Ghandilu, Sonya Falahati, Shahram Taeb, Ghazal Mousavi, Mehdi Maghsoudi, Ahmad Shariftabrizi, Ilker Hacihaliloglu, Arman Rahmim

专题命中 医学影像融合 ：hybrid fusion(abstract)；分类 cs.CV

Improving Interpretability in Alzheimer's Prediction via Joint Learning of ADAS-Cog Scores

Nur Amirah Abd Hamid, Mohd Shahrizal Rusli, Muhammad Thaqif Iman Mohd Taufek, Mohd Ibrahim Shapiai, Daphne Teck Ching Lai

机构 * School of Digital Science（数字科学学院） ； Universiti Brunei Darussalam（布鲁尼岛大学） ； Faculty of Artificial Intelligence（人工智能学院） ； Universiti Teknologi Malaysia（马来西亚理工大学） ； Malaysia-Japan International Institute of Technology（马来西亚-日本国际理工学院） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

UniDCF: A Foundation Model for Comprehensive Dentocraniofacial Hard Tissue Reconstruction

Chunxia Ren, Ning Zhu, Yue Lai, Gui Chen, Ruijie Wang, Yangyi Hu, Suyao Liu, Shuwen Mao, Hong Su, Yu Zhang, Li Xiao

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

Comments 23 pages, 6 figures

Memory-Augmented Incomplete Multimodal Survival Prediction via Cross-Slide and Gene-Attentive Hypergraph Learning

Mingcheng Qu, Guang Yang, Donglin Di, Yue Gao, Tonghua Su, Yang Song, Lei Fan

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； School of Software, Tsinghua University（清华大学软件学院） ； School of Computer Science and Engineering, UNSW Sydney（新南威尔士大学计算机科学与工程学院） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

Comments accepted by MICCAI2025 code: https://github.com/MCPathology/M2Surv

BrainMAP: Multimodal Graph Learning For Efficient Brain Disease Localization

Nguyen Linh Dan Le, Jing Ren, Ciyuan Peng, Chengyao Xie, Bowen Li, Feng Xia

机构 * School of Computing Technologies, RMIT University（计算技术学院，拉筹纳斯大学） ； Institute of Innovation, Science and Sustainability, Federation University Australia（创新、科学与可持续性研究所，联邦大学澳大利亚） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

Comments 6 pages, 5 figures

Cross-Sequence Semi-Supervised Learning for Multi-Parametric MRI-Based Visual Pathway Delineation

Alou Diakite, Cheng Li, Lei Xie, Yuanjing Feng, Ruoyou Wu, Jianzhong He, Hairong Zheng, Shanshan Wang

机构 * Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（生物医学成像保罗·C·劳特伯研究中心，深圳先进技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 医学影像融合 ：information fusion(abstract)；分类 cs.CV

Improving Colorectal Cancer Screening and Risk Assessment through Predictive Modeling on Medical Images and Records

Shuai Jiang, Christina Robinson, Joseph Anderson, William Hisey, Lynn Butterly, Arief Suriawinata, Saeed Hassanpour

专题命中 医学影像融合 ：multi-modal fusion(abstract)；分类 cs.CV

Distilled Prompt Learning for Incomplete Multimodal Survival Prediction

Yingxue Xu, Fengtao Zhou, Chenyu Zhao, Yihui Wang, Can Yang, Hao Chen

专题命中 医学影像融合 ：multimodal fusion(abstract)；分类 cs.CV

Comments Accepted by CVPR2025