医学 AI

Multimodal, Multi-Disease Medical Imaging Foundation Model (MerMED-FM)

Yang Zhou, Chrystie Wan Ning Quek, Jun Zhou, Yan Wang, Yang Bai, Yuhe Ke, Jie Yao, Laura Gutierrez, Zhen Ling Teo, Darren Shu Jeng Ting, Brian T. Soetikno, Christopher S. Nielsen, Tobias Elze, Zengxiang Li, Linh Le Dinh, Lionel Tim-Ee Cheng, Tran Nguyen Tuan Anh, Chee Leong Cheng, Tien Yin Wong, Nan Liu, Iain Beehuat Tan, Tony Kiat Hon Lim, Rick Siow Mong Goh, Yong Liu, Daniel Shu Wei Ting

专题命中 医疗多模态 ：medical image(abstract)；CT(abstract)；pathology(abstract)；分类 cs.CV、eess.IV

Comments 42 pages, 3 composite figures, 4 tables

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

Peng Xia, Kangyu Zhu, Haoran Li, Tianze Wang, Weijia Shi, Sheng Wang, Linjun Zhang, James Zou, Huaxiu Yao

专题命中 医疗多模态 ：pathology(abstract)；diagnosis(abstract)；radiology(abstract)；分类 cs.CV、cs.LG

Comments ICLR 2025

STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering

Guohao Sun, Can Qin, Huazhu Fu, Linwei Wang, Zhiqiang Tao

专题命中 医疗多模态 ：medical image(abstract)；diagnosis(abstract)；biomedical(abstract)；分类 cs.CV、cs.LG

Comments EMNLP 2024 Main conference

E3D-GPT: Enhanced 3D Visual Foundation for Medical Vision-Language Model

Haoran Lai, Zihang Jiang, Qingsong Yao, Rongsheng Wang, Zhiyang He, Xiaodong Tao, Wei Wei, Weifu Lv, S. Kevin Zhou

专题命中 医疗多模态 ：medical image(abstract)；CT(abstract)；diagnosis(abstract)；分类 cs.CV、eess.IV

ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features

Xin Wei, Yaling Tao, Changde Du, Gangming Zhao, Yizhou Yu, Jinpeng Li

专题命中 医疗多模态 ：pathology(abstract)；diagnosis(abstract)；radiology(abstract)；分类 cs.CV、eess.IV

Multimodal Deformable Image Registration for Long-COVID Analysis Based on Progressive Alignment and Multi-perspective Loss

Jiahua Li, James T. Grist, Fergus V. Gleeson, Bartłomiej W. Papież

专题命中 医疗多模态 ：MRI(abstract)；CT(abstract)；diagnosis(abstract)；分类 cs.CV、eess.IV

Advancing Multimodal Medical Capabilities of Gemini

Lin Yang, Shawn Xu, Andrew Sellergren, Timo Kohlberger, Yuchen Zhou, Ira Ktena, Atilla Kiraly, Faruk Ahmed, Farhad Hormozdiari, Tiam Jaroensri, Eric Wang, Ellery Wulczyn, Fayaz Jamil, Theo Guidroz, Chuck Lau, Siyuan Qiao, Yun Liu, Akshay Goel, Kendall Park, Arnav Agharwal, Nick George, Yang Wang, Ryutaro Tanno, David G. T. Barrett, Wei-Hung Weng, S. Sara Mahdavi, Khaled Saab, Tao Tu, Sreenivasa Raju Kalidindi, Mozziyar Etemadi, Jorge Cuadros, Gregory Sorensen, Yossi Matias, Katherine Chou, Greg Corrado, Joelle Barral, Shravya Shetty, David Fleet, S. M. Ali Eslami, Daniel Tse, Shruthi Prabhakara, Cory McLean, Dave Steiner, Rory Pilgrim, Christopher Kelly, Shekoofeh Azizi, Daniel Golden

专题命中 医疗多模态 ：medical image(abstract)；CT(abstract)；radiology(abstract)；分类 cs.CV、cs.LG

Building RadiologyNET: Unsupervised annotation of a large-scale multimodal medical database

Mateja Napravnik, Franko Hržić, Sebastian Tschauner, Ivan Štajduhar

专题命中 医疗多模态 ：medical image(abstract)；diagnosis(abstract)；radiology(abstract)；分类 cs.CV、cs.LG

Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining

PMC-InterCPT：重新思考用于多模态持续预训练的医学交错数据

Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Yang Yu, Minheng Ni, Wenjun Wang, Yanggan Gu, Shuo Cai, Congkai Xie, Jianmin Wu, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sun Yat-sen University（中山大学） ； InfiX.ai ； PolyU-Daya Bay Technology and Innovation Research Institute（PolyU-大亚湾技术与创新研究院） 纠错

专题命中 医疗多模态 ：biomedical(title,abstract)

AI总结 针对医学多模态持续预训练中图像-文本对数据存在的上下文缺失、结构噪声等问题，提出PMC-InterCPT交错语料库，通过恢复缺失标题、清洗文本、重建交错样本及LLM监督过滤，结合模态感知重采样，有效提升医学与通用多模态性能。

PathView-Bench: Can Multimodal Large Language Models Achieve Fine-grained Multiscale Understanding of Pathology Images?

PathView-Bench：多模态大语言模型能否实现病理图像的细粒度多尺度理解？

Zongyi Chen, Yu Liang, Jie Lin, Liansheng Wang

机构 * National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学健康与医学数据科学国家研究院） 纠错

专题命中 医疗多模态 ：pathology(title,abstract)

AI总结 研究针对现有病理多模态基准的不足，推出PathVU基准，评估发现主流MLLMs在多尺度病理图像细粒度视觉任务上存在显著局限，为相关模型的开发评估提供了可复现基础。

Evaluating medical AI under missing information: same-provider judges and human raters change apparent safety

在信息缺失情况下评估医疗人工智能：同提供者评判者和人类评分者会改变表面安全性

Koyar Afrasyab

机构 * Kinvectum AB（金维图姆公司） 纠错

专题命中 医疗多模态 ：medical AI(title,abstract)

AI总结 研究在信息缺失下评估医疗人工智能，通过删除对话部分对四个模型压力测试，发现评判者选择影响表面安全性，语言模型评判者更宽松，安全差距在于校准，还发布了相关测试工具等。

Comments GitHub https://github.com/KAVentures/health-ai-readiness-robustness

Multimodal Semantic-Aware Contrastive Learning For False Negative Mitigation in 3D Medical Imaging

用于减轻 3D 医学成像中假阴性的多模态语义感知对比学习

Sara Ketabi, Matthias W. Wagner, Cynthia Hawkins, Uri Tabori, Birgit Betina Ertl-Wagner, Farzad Khalvati

机构 * University of Toronto（多伦多大学） ； The Hospital for Sick Children（病童医院） ； Vector Institute（向量研究所） ； University Hospital Augsburg（奥格斯堡大学医院） 纠错

专题命中 医疗多模态 ：MRI(abstract,abstract_cn)；radiology(abstract)；分类 cs.LG、q-bio

AI总结 研究针对3D医学成像中假阴性问题，提出多模态语义感知对比学习框架MseaCL，通过纳入放射学报告语义相似性作指导信号，经实验验证该框架用于预训练可提升下游任务表现，如儿科脑肿瘤分子分类AUC至少增22.6%。

LiteMedCoT-VL: Parameter-Efficient Adaptation for Medical Visual Question Answering

LiteMedCoT-VL: 用于医疗视觉问答的参数高效适应

Runze Ma, Shunbo Jia, Haonan Lyu, Guo Liu, Caizhi Liao

机构 * School of Information Technology（信息科技学院） ； Monash University Malaysia（墨尔本大学马来西亚分校） ； Faculty of Innovation Engineering（创新工程学院） ； Macau University of Science and Technology（澳门科学技术大学） ； Department of Bioelectronics（生物电子系） ； Faculty of Biomedical Engineering（生物医学工程学院） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；medical image(abstract)；radiology(abstract)；分类 cs.CV、q-bio

AI总结 本文提出LiteMedCoT-VL，通过LoRA微调将大模型的推理过程转移到小模型，实现医疗视觉问答的高效部署，实验显示2B模型在准确率上超越4B模型。

Comments 17 pages, 5 figures

Calibrated Confidence Expression for Radiology Report Generation

放射报告生成中的校准置信度表达

David Bani-Harouni, Chantal Pellegrini, Julian Lüers, Su Hwan Kim, Markus Baalmann, Benedikt Wiestler, Rickmer Braren, Nassir Navab, Matthias Keicher

机构 * Computer Aided Medical Procedures, Technical University of Munich, Germany（德国慕尼黑工业大学计算机辅助医疗程序） ； Munich Center for Machine Learning (MCML), Germany（德国慕尼黑机器学习中心） ； Department of Diagnostic and Interventional Radiology, TUM Klinikum rechts der Isar, Germany（德国慕尼黑工业大学伊萨尔河右岸医院诊断与介入放射科） ； Department of Diagnostic and Interventional Neuroradiology, TUM Klinikum rechts der Isar, Germany（德国慕尼黑工业大学伊萨尔河右岸医院诊断与介入神经放射科） ； Department of Diagnostic and Interventional Radiology and Nuclear Medicine, University Medical Center Hamburg-Eppendorf, Germany（德国汉堡-埃彭多夫大学医学中心诊断与介入放射学及核医学科） ； AI for Image-Guided Diagnosis and Therapy, Technical University of Munich, Germany（德国慕尼黑工业大学人工智能图像引导诊断与治疗） 纠错

专题命中 医疗多模态 ：radiology(title,abstract)

AI总结 本文提出ConRad框架，通过强化学习提升医学大视觉-语言模型的置信度校准，以生成更可靠的放射报告。

Position Paper: Integrating Explainability and Uncertainty Estimation in Medical AI

Xiuyi Fan

机构 * Lee Kong Chian School of Medicine, College of Computing ； Data Science, Nanyang Technological University, Singapore 纠错

专题命中 医疗多模态 ：medical AI(title,abstract)

Comments Accepted at the International Joint Conference on Neural Networks, IJCNN 2025

Fact-Aware Multimodal Retrieval Augmentation for Accurate Medical Radiology Report Generation

Liwen Sun, James Zhao, Megan Han, Chenyan Xiong

专题命中 医疗多模态 ：radiology(title,abstract)

Comments NAACL 2025 main

Generative artificial intelligence in ophthalmology: multimodal retinal images for the diagnosis of Alzheimer's disease with convolutional neural networks

I. R. Slootweg, M. Thach, K. R. Curro-Tafili, F. D. Verbraak, F. H. Bouwman, Y. A. L. Pijnenburg, J. F. Boer, J. H. P. de Kwisthout, L. Bagheriye, P. J. González

专题命中 医疗多模态 ：diagnosis(title)；分类 cs.CV、cs.LG、eess.IV

Advancing High Resolution Vision-Language Models in Biomedicine

Zekai Chen, Arda Pekis, Kevin Brown

专题命中 医疗多模态 ：medical AI(abstract)；medical image(abstract)；biomedical(abstract)；分类 cs.CV、q-bio

Comments 15 pages

CNN-LSTM Based Multimodal MRI and Clinical Data Fusion for Predicting Functional Outcome in Stroke Patients

Nima Hatami, Tae-Hee Cho, Laura Mechtouff, Omer Faruk Eker, David Rousseau, Carole Frindel

专题命中 医疗多模态 ：MRI(title)；分类 cs.CV、cs.LG、eess.IV

Comments 44th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC 2022)

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

TextSLIP：用于医学报告生成的文本自监督CLIP

Haoyu Jiang, Ziping Cong

专题命中 医疗多模态 ：MRI(abstract,abstract_cn)；radiology(abstract)；分类 cs.CV

AI总结 研究针对现有CLIP方法在医学报告生成中语义监督不足问题，提出TextSLIP框架，通过模态内文本对比学习增强CLIP，经实验验证其在报告生成指标上有改进，表明文本级对比学习对改善医学视觉-文本对齐有潜力。

Comments 9 pages

Triple-Phase Multimodal Knowledge Aggregation Framework for Microbial Keratitis Subtype Diagnosis on Slit-Lamp Photography

基于裂隙灯摄影的微生物性角膜炎亚型诊断三相多模态知识聚合框架

Yiqing Wang, Maria A. Woodward, Ziyun Yang, N. Venkatesh Prajna, Chunming He, Leslie M. Niziol, Mercy Pawar, Ming-Chen Lu, Guillermo Amescua, Rachel Wozniak, Sejal Amin, Abinaya Krishnan, Prabhleen Kochar, Sina Farsiu

机构 * Department of Biomedical Engineering, Duke University（杜克大学生物医学工程系） ； Kellogg Eye Center, Department of Ophthalmology and Visual Sciences, University of Michigan（密歇根大学凯洛格眼科中心，眼科学与视觉科学系） ； Department of Cornea and Refractive Surgery Services, Aravind Eye Care System（阿瓦因眼科医疗系统角膜与屈光手术部） ； Bascom Palmer Eye Institute, Department of Ophthalmology, University of Miami Miller School of Medicine（迈阿密大学米勒医学院巴斯科姆·帕勒眼科研究所，眼科学系） ； Flaum Eye Institute, Department of Ophthalmology, University of Rochester Medical Center（罗切斯特大学医学中心弗劳姆眼科研究所，眼科学系） ； Department of Ophthalmology, Henry Ford Hospital（亨利福特医院眼科部） ； Duke Eye Center, Duke University School of Medicine（杜克大学医学院杜克眼科中心） 纠错

专题命中 医疗多模态 ：diagnosis(title)；分类 cs.CV、q-bio、eess.IV

AI总结 针对传统微生物性角膜炎病原体鉴定慢、成本高的问题，提出融合多模态信息的三相框架实现角膜炎亚型分类，经多中心验证性能优异，跨站点泛化评估更具参考性。

RVLM: Recursive Vision-Language Models with Adaptive Depth

具有自适应深度的递归视觉-语言模型

Nicanor Mayumu, Zeenath Khan, Melodena Stephens, Patrick Mukala, Farhad Oroumchian

机构 * Department of Computer Science（计算机科学系） ； University of Wollongong in Dubai（迪拜沃林戈大学） ； Dubai Knowledge Park（迪拜知识园区） ； Mohammed Bin Rashid School of Government（穆罕默德·本·拉希德政府学院） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；clinical AI(abstract)；MRI(abstract)；分类 cs.CV

AI总结 本文提出RVLM，通过迭代生成-执行循环和自适应迭代深度控制器，解决医学AI系统在可解释性和推理深度上的限制，实验证明其在脑部MRI和胸部X光中的有效性。

Brain3D: Brain Report Automation via Inflated Vision Transformers in 3D

Brain3D: 通过膨胀视觉变换器实现脑部报告自动化

Mariano Barone, Francesco Di Serio, Giuseppe Riccio, Antonio Romano, Marco Postiglione, Antonino Ferraro, Vincenzo Moscato

机构 * University of Naples Federico II, Department of Electrical Engineering and Information Technology（那不勒斯费德里科二世大学电子工程与信息技术系） ； Northwestern University, Dept. of Computer Science, McCormick School of Engineering and Applied Science（西北大学计算机科学系，工程与应用科学学院） ； Pegaso University, Department of Information Science and Technology（佩加索大学信息科学与技术系） 纠错

专题命中 医疗多模态 ：MRI(abstract)；pathology(abstract)；radiology(abstract)；分类 cs.CV

AI总结 Brain3D通过膨胀视觉变换器实现3D脑肿瘤MRI的自动化报告生成，通过分阶段对齐提升神经放射学解读的准确性和结构化输出。

Glo-VLMs: Leveraging Vision-Language Models for Fine-Grained Diseased Glomerulus Classification

Zhenhao Guo, Rachit Saluja, Tianyuan Yao, Quan Liu, Yuankai Huo, Benjamin Liechty, David J. Pisapia, Kenji Ikemura, Mert R. Sabuncu, Yihe Yang, Ruining Deng

机构 * New York University（纽约大学） ； Cornell Tech（康奈尔科技） ； Vanderbilt University（范德比尔特大学） ； Weill Cornell Medicine（韦尔医学院） ； Northwell Health（北well健康） 纠错

专题命中 医疗多模态 ：medical image(abstract)；pathology(abstract)；diagnosis(abstract)；分类 cs.CV

Journal ref Proceedings of SPIE Medical Imaging 2026

CrossMed: A Multimodal Cross-Task Benchmark for Compositional Generalization in Medical Imaging

Pooja Singh, Siddhant Ujjain, Tapan Kumar Gandhi, Sandeep Kumar

专题命中 医疗多模态 ：medical AI(abstract)；MRI(abstract)；CT(abstract)；分类 cs.CV

Think Twice to See More: Iterative Visual Reasoning in Medical VLMs

Kaitao Chen, Shaohao Rui, Yankai Jiang, Jiamin Wu, Qihao Zheng, Chunfeng Song, Xiaosong Wang, Mu Zhou, Mianxin Liu

机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Rutgers University（罗格斯大学） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；medical image(abstract)；diagnosis(abstract)；分类 cs.CV

Comments 25 pages, 21 figures

HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models

Aakash Tripathi, Asim Waqas, Matthew B. Schabath, Yasin Yilmaz, Ghulam Rasool

专题命中 医疗多模态 ：pathology(abstract)；radiology(abstract)；biomedical(abstract)；分类 cs.LG

Small Lesions-aware Bidirectional Multimodal Multiscale Fusion Network for Lung Disease Classification

Jianxun Yu, Ruiquan Ge, Zhipeng Wang, Cheng Yang, Chenyu Lin, Xianjun Fu, Jikui Liu, Ahmed Elazab, Changmiao Wang

机构 * Xidian University（西安电子科技大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang College of Security Technology, School of Artificial Intelligence（浙江安全技术学院人工智能学院） ； Shenzhen Polytechnic University（深圳职业技术学院） ； Shenzhen University（深圳大学） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；CT(abstract)；diagnosis(abstract)；分类 cs.CV

HSENet: Hybrid Spatial Encoding Network for 3D Medical Vision-Language Understanding

Yanzhao Shi, Xiaodan Zhang, Junzhong Ji, Haoning Jiang, Chengxin Zheng, Yinong Wang, Liangqiong Qu

机构 * The University of Hong Kong（香港大学） ； Beijing University of Technology（北京工业大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；CT(abstract)；diagnosis(abstract)；分类 cs.CV

Comments 27 pages, 9 figures. arXiv admin note: text overlap with arXiv:2410.14200 by other authors

XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models

Omkar Thawakar, Abdelrahman Shaker, Sahal Shaji Mullappilly, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Jorma Laaksonen, Fahad Shahbaz Khan

机构 * Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学） ； Aalto University（艾尔沃斯大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；radiology(abstract)；biomedical(abstract)；分类 cs.CV

Comments Accepted at ACL 2024-BIONLP Workshop. Code: https://github.com/mbzuai-oryx/XrayGPT