医学 AI

Open-PMC-18M: A High-Fidelity Large Scale Medical Dataset for Multimodal Representation Learning

Open-PMC-18M: 一种高保真大规模医学数据集用于多模态表示学习

Negin Baghbanzadeh, Mohammed Saidul Islam, Sajad Ashkezari, Elham Dolatabadi, Arash Afkanpour

机构 * Vector Institute（Vector研究所） ； York University（约克大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 医疗多模态 ：radiology(abstract)；biomedical(abstract)；分类 cs.CV

AI总结 Open-PMC-18M通过高保真医学数据集提升多模态表示学习性能，实现子图提取与上下文丰富化，支持多种视觉-语言任务。

Comments 21 pages

Med-VCD: Mitigating Hallucination for Medical Large Vision Language Models through Visual Contrastive Decoding

Med-VCD: 通过视觉对比解码缓解医疗大视觉语言模型的幻觉问题

Zahra Mahdavi, Zahra Khodakaramimaghsoud, Hooman Khaloo, Sina Bakhshandeh Taleshani, Erfan Hashemi, Javad Mirzapour Kaleybar, Omid Nejati Manzari

机构 * Department of computer science, University of Central Florida, Orlando, USA（计算机科学系，中央佛罗里达大学） ； Department of Bioengineering, University of Pennsylvania, Philadelphia, PA, USA（生物工程系，宾夕法尼亚大学） ； Department of electrical engineering, Columbia university, New York, NY, USA（电气工程系，哥伦比亚大学） ； Technical University of Applied Sciences Regensburg, Regensburg, Germany（应用科学技术大学（雷根斯堡）） ； Department of Surgery, University of Calgary, Calgary, Alberta, Canada（外科系，卡尔加里大学） ； University College of Nabi Akram, Tabriz, Iran（纳比阿克兰大学） ； School of Electrical Engineering, Iran University of Science and Technology, Tehran, Iran（电气工程学院，伊朗科学技术大学） 纠错

专题命中 医疗多模态 ：pathology(abstract)；radiology(abstract)；分类 cs.CV

AI总结 Med-VCD通过视觉对比解码方法提升医疗大视觉语言模型的事实准确性与幻觉准确性，减少幻觉输出并提高推理效率。

Journal ref Computers in Biology and Medicine (2026)

Scaling Down to Scale Up: Towards Operationally-Efficient and Deployable Clinical Models via Cross-Modal Low-Rank Adaptation for Medical Vision-Language Models

缩小规模以扩大规模：通过跨模态低秩适应实现操作高效且可部署的临床模型

Thuraya Alzubaidi, Farhad R. Nezami, Muzammil Behzad

机构 * King Fahd University of Petroleum（国王法赫德石油与矿物大学） ； Institute for Medical Engineering（医学工程研究所） ； Science, Massachusetts Institute of Technology, US（科学，麻省理工学院，美国） ； Harvard Medical School, Harvard University, US（哈佛医学院，哈佛大学，美国） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence, Saudi Arabia（SDAIA-KFUPM人工智能联合研究中心，沙特阿拉伯） 纠错

专题命中 医疗多模态 ：CT(abstract)；pathology(abstract)；分类 cs.CV

AI总结 通过跨模态低秩适应，MedCT-VLM在零样本分类中实现了对CT影像的高效适应，显著提升了病理分类的性能。

Evaluating Strategies for Synthesizing Clinical Notes for Medical Multimodal AI

评估合成临床笔记的策略以用于医疗多模态AI

Niccolo Marini, Zhaohui Liang, Sivaramakrishnan Rajaraman, Zhiyun Xue, Sameer Antani

机构 * Division of Intramural Research, National Library of Medicine, National Institutes of Health（国家医学图书馆内部研究部，国家卫生研究院） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；biomedical(abstract)；分类 cs.CV

AI总结 本文研究了合成临床笔记的生成策略，通过优化提示设计和医学元数据，提升医疗多模态AI在分类和跨模态检索任务中的性能。

MedGEN-Bench: Contextually entangled benchmark for open-ended multimodal medical generation

Junjie Yang, Yuhao Yan, Gang Wu, Yuxuan Wang, Ruoyu Liang, Xinjie Jiang, Xiang Wan, Fenglei Fan, Yongquan Zhang, Feiwei Qin, Changmiao Wang

机构 * South China University of Technology（华南理工大学） ； Sun Yat-sen University（中山大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang University of Finance & Economics（浙江财经大学） ； National University of Singapore（新加坡国立大学） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；medical image(abstract)；分类 cs.CV

Comments CVPR 2026 Under Review

QwenCLIP: Boosting Medical Vision-Language Pretraining via LLM Embeddings and Prompt tuning

Xiaoyang Wei, Camille Kurtz, Florence Cloppet

机构 * Laboratoire d'Informatique Paris Descartes (LIPADE), Université Paris Cité (France)（巴黎笛卡尔大学信息学实验室（LIPADE），巴黎城市大学（法国）） 纠错

专题命中 医疗多模态 ：medical image(abstract)；radiology(abstract)；分类 cs.CV

Comments This work has been submitted to the IEEE ISBI for possible publication

Unifying Segment Anything in Microscopy with Vision-Language Knowledge

Manyu Li, Ruian He, Zixian Zhang, Chenxi Ma, Weimin Tan, Bo Yan

专题命中 医疗多模态 ：medical image(abstract)；biomedical(abstract)；分类 cs.CV

Comments 15 pages, 5 figures

Fleming-VL: Towards Universal Medical Visual Reasoning with Multimodal LLMs

Yan Shu, Chi Liu, Robin Chen, Derek Li, Bryan Dai

机构 * Ubiquant（乌比量化） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；medical image(abstract)；分类 cs.CV

BiMediX2: Bio-Medical EXpert LMM for Diverse Medical Modalities

Sahal Shaji Mullappilly, Mohammed Irfan Kurpath, Sara Pieri, Saeed Yahya Alseiari, Shanavas Cholakkal, Khaled Aldahmani, Fahad Khan, Rao Anwer, Salman Khan, Timothy Baldwin, Hisham Cholakkal

机构 * Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed大学人工智能学院） ； Linköping University（林肯大学） ； Shaikh Tahnoon bin Mohammed Medical City（Shaikh Tahnoon bin Mohammed医疗城） ； Tawam Hospital（Tawam医院） ； Sheikh Shakhbout Medical City（Sheikh Shakhbout医疗城） ； Govt Medical College Kozhikode（科钦政府医学院） 纠错

专题命中 医疗多模态 ：CT(abstract)；radiology(abstract)；分类 cs.CV

Comments Accepted to EMNLP 2025 (Findings)

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pages 14051-14071

Discrete Diffusion Models with MLLMs for Unified Medical Multimodal Generation

Jiawei Mao, Yuhan Wang, Lifeng Chen, Can Zhao, Yucheng Tang, Dong Yang, Liangqiong Qu, Daguang Xu, Yuyin Zhou

专题命中 医疗多模态 ：pathology(abstract)；biomedical(abstract)；分类 cs.CV

Comments 16 pages,6 figures

Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation

Longzhen Yang, Zhangkai Ni, Ying Wen, Yihang Liu, Lianghua He, Heng Tao Shen

机构 * Tongji University（同济大学） ； East China Normal University（华东师范大学） ； Shanghai Eye Disease Prevention and Treatment Center（上海眼病防治中心） 纠错

专题命中 医疗多模态 ：medical image(abstract)；pathology(abstract)；分类 cs.CV

A Scalable Distributed Framework for Multimodal GigaVoxel Image Registration

Rohit Jena, Vedant Zope, Pratik Chaudhari, James C. Gee

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 医疗多模态 ：MRI(abstract)；biomedical(abstract)；分类 cs.CV

Self-supervised learning of imaging and clinical signatures using a multimodal joint-embedding predictive architecture

Thomas Z. Li, Aravind R. Krishnan, Lianrui Zuo, John M. Still, Kim L. Sandler, Fabien Maldonado, Thomas A. Lasko, Bennett A. Landman

专题命中 医疗多模态 ：CT(abstract)；diagnosis(abstract)；分类 cs.CV

MedM-VL: What Makes a Good Medical LVLM?

Yiming Shi, Shaoshuai Yang, Xun Zhu, Haoyu Wang, Xiangling Fu, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；CT(abstract)；分类 cs.CV

Multimodal Medical Disease Classification with LLaMA II

Christian Gapp, Elias Tappeiner, Martin Welk, Rainer Schubert

机构 * Institute of Biomedical Image Analysis UMIT TIROL（生物医学影像分析研究所 UMIT TIROL） ； UMIT TIROL – Private University for Health Sciences and Health Technology（UMIT TIROL – 健康科学与健康技术私立大学） ； VASCage – Centre on Clinical Stroke Research Innsbruck（VASCage – 神经科学临床研究中心 Innsbruck） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；diagnosis(abstract)；分类 cs.CV

Comments 9 pages, 6 figures, conference: AIRoV -- The First Austrian Symposium on AI, Robotics, and Vision 25.-27.3.2024, Innsbruck

Hierarchical Vision-Language Learning for Medical Out-of-Distribution Detection

Runhe Lai, Xinhua Lu, Kanghao Chen, Qichao Chen, Wei-Shi Zheng, Ruixuan Wang

机构 * Peng Cheng Laboratory（鹏城实验室） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Nottingham Malaysia（诺丁汉大学（马来西亚）） ； Key Laboratory of Machine Intelligence and Advanced Computing, MOE（机器智能与高级计算重点实验室） 纠错

专题命中 医疗多模态 ：medical image(abstract)；diagnosis(abstract)；分类 cs.CV

Comments 10 pages, 2 figures, Accepted by MICCAI2025

A Novel Multimodal Framework for Early Detection of Alzheimers Disease Using Deep Learning

Tatwadarshi P Nagarhalli, Sanket Patil, Vishal Pande, Uday Aswalekar, Prafulla Patil

专题命中 医疗多模态 ：MRI(abstract)；diagnosis(abstract)；分类 cs.LG

Comments Journal paper, 14 pages

Journal ref SSRG International Journal of Electronics and Communication Engineering, Volume 11 Issue 11, November 2024

Multimodal Attention-Aware Fusion for Diagnosing Distal Myopathy: Evaluating Model Interpretability and Clinician Trust

Mohsen Abbaspour Onari, Lucie Charlotte Magister, Yaoxin Wu, Amalia Lupi, Dario Creazzo, Mattia Tordin, Luigi Di Donatantonio, Emilio Quaia, Chao Zhang, Isel Grau, Marco S. Nobile, Yingqian Zhang, Pietro Liò

机构 * Information Systems Group, Eindhoven University of Technology, The Netherlands（埃因霍温技术大学信息系统组） ； Eindhoven Artificial Intelligence Systems Institute, The Netherlands（埃因霍温人工智能系统研究所） ； Department of Computer Science and Technology, University of Cambridge, United Kingdom（剑桥大学计算机科学与技术系） ； Department of Medicine - DIMED, Padua University Hospital, Italy（帕多瓦大学医院医学部-DIMED） ； Department of Environmental Sciences, Informatics, and Statistics, Ca’ Foscari University of Venice, Italy（威尼斯卡弗里大学环境科学、信息学与统计学系） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；radiology(abstract)；分类 cs.CV

Cross-Modal Causal Intervention for Medical Report Generation

Weixing Chen, Yang Liu, Ce Wang, Jiarui Zhu, Guanbin Li, Cheng-Lin Liu, Liang Lin

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） ； School of Science, Sun Yat-sen University（中山大学理学院） ； Hong Kong Polytechnic University（香港理工大学） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；radiology(abstract)；分类 cs.CV

Comments Accepted by IEEE TIP 2025, 16 pages, 11 figures, 7 tables

Journal ref IEEE Transactions on Image Processing 34 (2025) 2970-2985

Look & Mark: Leveraging Radiologist Eye Fixations and Bounding boxes in Multimodal Large Language Models for Chest X-ray Report Generation

Yunsoo Kim, Jinge Wu, Su-Hwan Kim, Pardeep Vasudev, Jiashu Shen, Honghan Wu

机构 * UCL（伦敦大学学院） ； Technical University of Munich（慕尼黑技术大学） ； University of Oxford（牛津大学） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；radiology(abstract)；分类 cs.CV

MedCFVQA: A Causal Approach to Mitigate Modality Preference Bias in Medical Visual Question Answering

Shuchang Ye, Usman Naseem, Mingyuan Meng, Dagan Feng, Jinman Kim

机构 * The University of Sydney（悉尼大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；diagnosis(abstract)；分类 cs.CV

How Well Can General Vision-Language Models Learn Medicine By Watching Public Educational Videos?

Rahul Thapa, Andrew Li, Qingyang Wu, Bryan He, Yuki Sahashi, Christina Binder, Angela Zhang, Ben Athiwaratkun, Shuaiwen Leon Song, David Ouyang, James Zou

机构 * Stanford University（斯坦福大学） ； Together AI ； University of California, Berkeley（加州大学伯克利分校） ； Cedars-Sinai Medical Center（西德斯-西奈医学中心） ； University of California, San Francisco（加州大学旧金山分校） 纠错

专题命中 医疗多模态 ：medical image(abstract)；biomedical(abstract)；分类 cs.CV

MAKE: Multi-Aspect Knowledge-Enhanced Vision-Language Pretraining for Zero-shot Dermatological Assessment

Siyuan Yan, Xieji Li, Ming Hu, Yiwen Jiang, Zhen Yu, Zongyuan Ge

机构 * Faculty of Engineering, Monash University, Melbourne, Australia（墨尔本大学工程学院） ； AIM for Health Lab, Monash University, Victoria, Australia（墨尔本大学健康人工智能实验室） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；diagnosis(abstract)；分类 cs.CV

Comments MICCAI2025 early acceptance; First two authors contribute equally

Meta-Entity Driven Triplet Mining for Aligning Medical Vision-Language Models

Saban Ozturk, Melih B. Yilmaz, Muti Kara, M. Talat Yavuz, Aykut Koç, Tolga Çukur

专题命中 医疗多模态 ：pathology(abstract)；radiology(abstract)；分类 cs.CV

Comments 18 pages, 7 figures, 6 tables

Medical Report Generation Is A Multi-label Classification Problem

Yijian Fan, Zhenbang Yang, Rui Liu, Mingjie Li, Xiaojun Chang

专题命中 医疗多模态 ：medical image(abstract)；radiology(abstract)；分类 cs.CV

Comments Accepted to 2024 IEEE International Conference on Medical Artificial Intelligence

FMT:A Multimodal Pneumonia Detection Model Based on Stacking MOE Framework

Jingyu Xu, Yang Wang

专题命中 医疗多模态 ：medical image(abstract)；diagnosis(abstract)；分类 cs.CV

Completed Feature Disentanglement Learning for Multimodal MRIs Analysis

Tianling Liu, Hongying Liu, Fanhua Shang, Lequan Yu, Tong Han, Liang Wan

专题命中 医疗多模态 ：MRI(abstract)；diagnosis(abstract)；分类 cs.CV

Comments Accept by IEEE JBHI 2025

Can Medical Vision-Language Pre-training Succeed with Purely Synthetic Data?

Che Liu, Zhongwei Wan, Haozhe Wang, Yinda Chen, Talha Qaiser, Chen Jin, Fariba Yousefi, Nikolay Burlutskiy, Rossella Arcucci

专题命中 医疗多模态 ：medical image(abstract)；radiology(abstract)；分类 cs.CV

Comments Under Review

KPL: Training-Free Medical Knowledge Mining of Vision-Language Models

Jiaxiang Liu, Tianxiang Hu, Jiawei Du, Ruiyuan Zhang, Joey Tianyi Zhou, Zuozhu Liu

专题命中 医疗多模态 ：medical image(abstract)；diagnosis(abstract)；分类 cs.CV

Comments AAAI(Oral)

Visual question answering: from early developments to recent advances -- a survey

Ngoc Dung Huynh, Mohamed Reda Bouadjenek, Sunil Aryal, Imran Razzak, Hakim Hacid

专题命中 医疗多模态 ：medical image(abstract)；diagnosis(abstract)；分类 cs.CV

Comments 20 papers