医学 AI

Multimodal Disease Progression Modeling via Spatiotemporal Disentanglement and Multiscale Alignment

Chen Liu, Wenfang Yao, Kejing Yin, William K. Cheung, Jing Qin

机构 * School of Nursing, The Hong Kong Polytechnic University（香港理工大学护理学院） ； Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

Comments NeurIPS 2025 Spotlight

Post-TIPS Prediction via Multimodal Interaction: A Multi-Center Dataset and Framework for Survival, Complication, and Portal Pressure Assessment

Junhao Dong, Dejia Liu, Ruiqi Ding, Zongxing Chen, Yingjie Huang, Zhu Meng, Jianbo Zhao, Zhicheng Zhao, Fei Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Division of Vascular and Interventional Radiology, Department of General Surgery, Nanfang Hospital, Southern Medical University（南方医科大学普外科血管介入放射科） ； Beijing Key Laboratory of Network System and Network Culture（北京网络系统与网络文化重点实验室） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments 81 pages, 13 figures

MIMO: A medical vision language model with visual referring multimodal input and pixel grounding multimodal output

Yanyuan Chen, Dexuan Xu, Yu Huang, Songkun Zhan, Hanpin Wang, Dongxue Chen, Xueping Wang, Meikang Qiu, Hang Li

机构 * School of Software & Microelectronics, Peking University（软件与微电子学院，北京大学） ； School of Computer Science, Peking University（计算机学院，北京大学） ； National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心，北京大学） ； Peking University Sixth Hospital（北京大学第六医院） ； Augusta University（奥古斯塔大学） ； Peking University First Hospital（北京大学第一医院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments CVPR 2025

Alignment, Mining and Fusion: Representation Alignment with Hard Negative Mining and Selective Knowledge Fusion for Medical Visual Question Answering

Yuanhao Zou, Zhaozheng Yin

机构 * University of Michigan（密歇根大学） ； Stony Brook University（石溪大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments CVPR2025 Paper

Towards a Multimodal Large Language Model with Pixel-Level Insight for Biomedicine

Xiaoshuang Huang, Lingdong Shen, Jia Liu, Fangxin Shang, Hongxiang Li, Haifeng Huang, Yehui Yang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.CV

Comments Accepted by AAAI2025

ProbMed: A Probabilistic Framework for Medical Multimodal Binding

Yuan Gao, Sangwook Kim, Jianzhong You, Chris McIntosh

机构 * Peter Munk Cardiac Centre（彼得·默克心脏中心） ； Ted Rogers Centre for Heart Research（泰德·罗杰斯心脏病研究中心） ； University Health Network（大学健康网络） ； Joint Department of Medical Imaging（联合医学影像部门） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments ICCV 2025

RAU: Reference-based Anatomical Understanding with Vision Language Models

Yiwei Li, Yikang Liu, Jiaqi Guo, Lin Zhao, Zheyuan Zhang, Xiao Chen, Boris Mailhe, Ankush Mukherjee, Terrence Chen, Shanhui Sun

机构 * United Imaging Intelligence（联合影像智能） ； School of Computing, University of Georgia（佐治亚大学计算机学院） ； Department of Electrical and Computer Engineering, Northwestern University（西北大学电气与计算机工程系） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Random Direct Preference Optimization for Radiography Report Generation

Valentin Samokhin, Boris Shirokikh, Mikhail Goncharov, Dmitriy Umerenkov, Maksim Bobrin, Ivan Oseledets, Dmitry Dylov, Mikhail Belyaev

机构 * Artificial Intelligence Research Institute (AIRI)（人工智能研究院） ； Skolkovo Institute of Science and Technology（斯克罗夫学院） ； Institute for Information Transmission Problems（信息传输问题研究所） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Learning Contrastive Multimodal Fusion with Improved Modality Dropout for Disease Detection and Prediction

Yi Gu, Kuniaki Saito, Jiaxin Ma

机构 * OMRON SINIC X Corporation（OMRON SINIC X公司） ； Nara Institute of Science and Technology（名取科学技術大學院） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments MICCAI 2025

Causal Representation Learning from Multimodal Clinical Records under Non-Random Modality Missingness

Zihan Liang, Ziwen Pan, Ruoxuan Xiong

机构 * Emory University（埃默里大学） 纠错

专题命中 医疗多模态 ：radiology(abstract)；分类 cs.LG

Comments To appear in Proc. of EMNLP 2025 (18 pages)

AgriDoctor: A Multimodal Intelligent Assistant for Agriculture

Mingqing Zhang, Zhuoning Xu, Peijie Wang, Rongji Li, Liang Wang, Qiang Liu, Jian Xu, Xuyao Zhang, Shu Wu, Liang Wang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

ME-Mamba: Multi-Expert Mamba with Efficient Knowledge Capture and Fusion for Multimodal Survival Analysis

Chengsheng Zhang, Linhao Qu, Xiaoyu Liu, Zhijian Song

机构 * Digital Medical Research Center, School of Basic Medical Science, Fudan University, Shanghai 200032, China（复旦大学基础医学学院数字医学研究中心） ； Shanghai Key Lab of Medical Image Computing（上海医学图像计算重点实验室） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

MedFact-R1: Towards Factual Medical Reasoning via Pseudo-Label Augmentation

Gengliang Li, Rongyu Chen, Bin Li, Linlin Yang, Guodong Ding

机构 * Baosight（博思特） ； NUS（新加坡国立大学） ； SIAT（深圳先进技术研究院） ； CUC（中国科学技术大学） ； Microsoft（微软） ； ANU（澳大利亚国立大学） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；分类 cs.CV

Comments Tech report

MSGFusion: Multimodal Scene Graph-Guided Infrared and Visible Image Fusion

Guihui Li, Bowei Dong, Kaizhi Dong, Jiayi Li, Haiyong Zheng

机构 * College of Computer Science and Technology, Ocean University of China（中国海洋大学计算机科学与技术学院） ； College of Electronic Engineering, Ocean University of China（中国海洋大学电子工程学院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Towards Interpretable Counterfactual Generation via Multimodal Autoregression

Chenglong Ma, Yuanfeng Ji, Jin Ye, Lu Zhang, Ying Chen, Tianbin Li, Mingjie Li, Junjun He, Hongming Shan

专题命中 医疗多模态 ：medical image(abstract)；分类 eess.IV

Comments MICCAI'25

Does Acceleration Cause Hidden Instability in Vision Language Models? Uncovering Instance-Level Divergence Through a Large-Scale Empirical Study

Yizheng Sun, Hao Li, Chang Xu, Hongpeng Zhou, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

机构 * University of Manchester（曼彻斯特大学） ； Microsoft Research（微软研究院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments Accepted to EMNLP 2025 Main Conference

MoE-Health: A Mixture of Experts Framework for Robust Multimodal Healthcare Prediction

Xiaoyang Wang, Christopher C. Yang

机构 * Drexel University（德雷塞尔大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.LG

Comments Accepted to The 16th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics (ACM-BCB 2025)

Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models

Meidan Ding, Jipeng Zhang, Wenxuan Wang, Cheng-Yi Li, Wei-Chieh Fang, Hsin-Yu Wu, Haiqin Zhong, Wenting Chen, Linlin Shen

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院） ； Guangdong Provincial Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Renmin University of China（中国人民大学） ； National Yang Ming Chiao Tung University ； Taipei Veterans General Hospital（台北荣民总医院） ； School of Biomedical Engineering, Shenzhen University（深圳大学生物医学工程学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments 19 pages, 5 figures, 3 tables

IQAGPT: Image Quality Assessment with Vision-language and ChatGPT Models

Zhihao Chen, Bin Hu, Chuang Niu, Tao Chen, Yuxin Li, Hongming Shan, Ge Wang

机构 * ISTBI Fudan University（ISTBI 复旦大学） ； Huashan Hospital Fudan University（复旦大学华山医院） ； BME & CBIS Rensselaer Polytechnic Institute（生物医学工程与生物信息学研究中心罗切斯特理工学院） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments 14 pages, 9 figures

Journal ref Visual Computing for Industry, Biomedicine, and Art, 7, 20, 2024

MedFoundationHub: A Lightweight and Secure Toolkit for Deploying Medical Vision Language Foundation Models

Xiao Li, Yanfan Zhu, Ruining Deng, Wei-Qi Wei, Yu Wang, Shilin Zhao, Yaohong Wang, Haichun Yang, Yuankai Huo

机构 * Vanderbilt University（范德比尔特大学） ； Weill Cornell Medicine（韦尔·科恩医学中心） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； UT MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

Toward Robust Medical Fairness: Debiased Dual-Modal Alignment via Text-Guided Attribute-Disentangled Prompt Learning for Vision-Language Models

Yuexuan Xia, Benteng Ma, Jiang He, Zhiyong Wang, Qi Dou, Yong Xia

机构 * National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（集成空天地海大数据应用技术国家工程实验室） ； Northwestern Polytechnical University（西北工业大学） ； Huiying Medical Technology Company Ltd.（慧影医疗技术有限公司） ； The School of Computer Science（计算机学院） ； The University of Sydney（悉尼大学） ； Department of Computer Science and Engineering（计算机科学与工程系） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Task-Generalized Adaptive Cross-Domain Learning for Multimodal Image Fusion

Mengyu Wang, Zhenyu Liu, Kun Li, Yu Wang, Yuwei Wang, Yanyan Wei, Fei Wang

机构 * Key Laboratory of Opto-Electronic Information Science and Technology of Jiangxi Province, Nanchang Hangkong University（江西省光电信息科学与技术重点实验室，南昌航空大学） ； ReLER, CCAI, Zhejiang University（ReLER、CCAI、浙江大学） ； College of Engineering, Anhui Agricultural University（安徽农业大学工程学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted by IEEE Transactions on Multimedia

Early Detection of Pancreatic Cancer Using Multimodal Learning on Electronic Health Records

Mosbah Aouad, Anirudh Choudhary, Awais Farooq, Steven Nevers, Lusine Demirkhanyan, Bhrandon Harris, Suguna Pappu, Christopher Gondi, Ravishankar Iyer

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.LG

Journal ref Proceedings of Machine Learning for Healthcare (2025)

Standardization of Neuromuscular Reflex Analysis -- Role of Fine-Tuned Vision-Language Model Consortium and OpenAI gpt-oss Reasoning LLM Enabled Decision Support System

Eranga Bandara, Ross Gore, Sachin Shetty, Ravi Mukkamala, Christopher Rhea, Atmaram Yarlagadda, Shaifali Kaushik, L. H. M. P. De Silva, Andriy Maznychenko, Inna Sokolowska, Amin Hass, Kasun De Zoysa

机构 * Old Dominion University（旧 Dominion 大学） ； AnaletIQ ； McDonald Army Health Center（麦克唐纳陆军医疗中心） ； University of Sri Jayewardenepura（Sri Jayewardenepura 大学） ； University of Gdańsk（盖尔范大学） ； University of Colombo（科伦坡大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Physics-Informed Multimodal Bearing Fault Classification under Variable Operating Conditions using Transfer Learning

Tasfiq E. Alam, Md Manjurul Ahsan, Shivakumar Raman

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.LG

MoMA: A Mixture-of-Multimodal-Agents Architecture for Enhancing Clinical Prediction Modelling

Jifan Gao, Mahmudur Rahman, John Caskey, Madeline Oguss, Ann O'Rourke, Randy Brown, Anne Stey, Anoop Mayampurath, Matthew M. Churpek, Guanhua Chen, Majid Afshar

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Northwestern University（西北大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.LG

Knowledge to Sight: Reasoning over Visual Attributes via Knowledge Decomposition for Abnormality Grounding

Jun Li, Che Liu, Wenjia Bai, Mingxuan Liu, Rossella Arcucci, Cosmin I. Bercea, Julia A. Schnabel

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Imperial College London（伦敦帝国学院） ； University of Trento（特伦托大学） ； Helmholtz AI and Helmholtz Munich（海德堡人工智能与海德堡慕尼黑） ； King’s College London（伦敦国王学院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

TCDiff: Triplex Cascaded Diffusion for High-fidelity Multimodal EHRs Generation with Incomplete Clinical Data

Yandong Yan, Chenxi Li, Yu Huang, Dexuan Xu, Jiaqi Zhu, Zhongyan Chai, Huamin Zhang

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心） ； Institute of Software, Chinese Academy of Science（中国科学院软件研究所） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Institute of Basic Theory of Chinese Medicine, China Academy of Chinese Medical Sciences（中国中医科学院中医基础理论研究所） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.LG

Distribution-Based Masked Medical Vision-Language Model Using Structured Reports

Shreyank N Gowda, Ruichi Zhang, Xiao Gu, Ying Weng, Lu Yang

机构 * School of Computer Science, University of Nottingham（计算机科学学院，诺丁汉大学） ； Department of Computer Science and Technology, School of Informatics, Xiamen University（计算机科学与技术系，信息学院，厦门大学） ； CHI Lab, University of Oxford（CHI实验室，牛津大学） ； School of Computer Science, University of Nottingham Ningbo China（计算机科学学院，宁波大学中国） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted in MICCAI-W 2025

VLM-CPL: Consensus Pseudo Labels from Vision-Language Models for Annotation-Free Pathological Image Classification

Lanfeng Zhong, Zongyao Huang, Yang Liu, Wenjun Liao, Shichuan Zhang, Guotai Wang, Shaoting Zhang

机构 * School of Mechanical and Electrical Engineering, University of Electronic Science and Technology of China（电子科技大学机械与电子工程学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Department of Pathology, Sichuan Clinical Research Center for Cancer, Sichuan Cancer Hospital & Institute, Affiliated Cancer Hospital of University of Electronic Science and Technology of China（pathology department, 四川省癌症临床研究中心, 四川省肿瘤医院及研究所, 电子科技大学附属肿瘤医院） ； Department of Radiation Oncology, Sichuan Cancer Hospital and Institute, University of Electronic Science and Technology of China（放射肿瘤科, 四川省肿瘤医院及研究所, 电子科技大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments Accepted at TMI