医学 AI

Multimodal Oncology Agent for IDH1 Mutation Prediction in Low-Grade Glioma

多模态肿瘤代理用于低级别胶质瘤IDH1突变预测

Hafsa Akebli, Adam Shephard, Vincenzo Della Mea, Nasir Rajpoot

机构 * Department of Mathematics, Computer Science and Physics, University of Udine（乌迪大学数学、计算机科学与物理系） ； Tissue Image Analytics Centre, Department of Computer Science, University of Warwick（沃里克大学计算机科学系组织图像分析中心） ； Histofy Ltd（Histofy有限公司） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.CV

AI总结 本研究提出多模态肿瘤代理，结合组织学工具和外部生物医学资源，实现低级别胶质瘤IDH1突变的高精度预测。

Comments 4 pages, 2 figures

Multi-Aspect Knowledge-Enhanced Medical Vision-Language Pretraining with Multi-Agent Data Generation

多方面知识增强的医学视觉-语言预训练与多代理数据生成

Xieji Li, Siyuan Yan, Yingsheng Liu, H. Peter Soyer, Monika Janda, Victoria Mar, Zongyuan Ge

机构 * Department of Data Science and AI, Faculty of Information Technology, Monash University（数据科学与人工智能系，信息科技学院，墨尔本大学） ； Victorian Melanoma Service, Alfred Health（维多利亚黑色素瘤服务，阿尔弗雷德健康） ； Frazer Institute, The University of Queensland, Dermatology Research Centre（弗雷泽研究所，昆士兰大学，皮肤科研究中心） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

AI总结 本研究提出一种多代理数据生成与多方面知识增强的医学视觉-语言预训练框架，通过提升数据质量和细粒度对齐，实现零样本性能的突破。

Comments 10 pages. Under Review

VoxRep: Enhancing 3D Spatial Understanding in 2D Vision-Language Models via Voxel Representation

VoxRep：通过体素表示增强2D视觉-语言模型的3D空间理解

Alan Dao, Norapat Buppodom

机构 * Menlo Research（Menlo研究） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

AI总结 本文提出VoxRep方法，通过将体素空间切分为2D切片并输入预训练的视觉-语言模型，实现对3D环境的高效语义理解。

Journal ref Proc. APSIPA ASC 2025, pp. 1464-1469

CLIP-IT: CLIP-based Pairing for Histology Images Classification

CLIP-IT: 基于CLIP的病理图像分类配对

Banafsheh Karimian, Giulia Avanzato, Soufian Belharbi, Alexis Guichemerre, Luke McCaffrey, Mohammadhadi Shateri, Eric Granger

机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA、ILLs、系统工程系、蒙特利尔大学ETSMontreal加拿大） ； Dept. of Computer Engineering, University of Cagliari, Italy（计算机工程系、卡利亚里大学意大利） ； Goodman Cancer Research, Centre, Dept. of Oncology, McGill University, Canada（Goodman癌症研究中心、肿瘤学系、麦吉尔大学加拿大） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

AI总结 CLIP-IT通过利用未配对的病理报告提升病理图像分类性能，无需配对数据或复杂推理。

SurvAgent: Hierarchical CoT-Enhanced Case Banking and Dichotomy-Based Multi-Agent System for Multimodal Survival Prediction

SurvAgent: 基于层次化CoT增强的案例库与二元多智能体系统用于多模态生存预测

Guolin Huang, Wenting Chen, Jiaqi Yang, Xinheng Lyu, Xiaoling Luo, Sen Yang, Xiaohan Xing, Linlin Shen

机构 * Shenzhen University（深圳大学） ； Stanford University（斯坦福大学） ； University of Nottingham Ningbo China（诺丁汉大学宁波分校） ； Ant Group（蚂蚁集团） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

AI总结 SurvAgent通过层次化CoT增强的多智能体系统，整合多模态数据，提升生存预测的可解释性与准确性。

Comments 20 pages

A Systematic Study of Model Extraction Attacks on Graph Foundation Models

Haoyan Xu, Ruizhi Qian, Jiate Li, Yushun Dong, Minghao Lin, Hanson Yan, Zhengtao Yao, Qinghua Liu, Junhao Dong, Ruopeng Huang, Yue Zhao, Mengyuan Li

机构 * University of Southern California（南加州大学） ； Florida State University（佛罗里达州立大学） ； The Ohio State University（俄亥俄州立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.LG

The Brain Resection Multimodal Image Registration (ReMIND2Reg) 2025 Challenge

Reuben Dorent, Laura Rigolo, Colin P. Galvin, Junyu Chen, Mattias P. Heinrich, Aaron Carass, Olivier Colliot, Demian Wassermann, Alexandra Golby, Tina Kapur, William Wells

机构 * Inria Saclay Île-de-France（法国里昂萨克利研究所） ； CEA（法国原子能委员会） ； Université Paris-Saclay（巴黎-萨克利大学） ； Sorbonne Université（索邦大学） ； Institut du Cerveau - Paris Brain Institute - ICM（巴黎脑研究所） ； CNRS（法国国家科学研究中心） ； Inria（法国国家信息与自动化技术研究所） ； Inserm（法国国家医学研究院） ； AP-HP（法国国家医院集团） ； Hôpital de la Pitié Salpêtrière（皮蒂埃-萨尔普里埃尔医院） ； Harvard Medical School（哈佛医学院） ； Brigham and Women's Hospital（布里根医院） ； Department of Radiology and Radiological Science（放射学与放射科学系） ； Johns Hopkins Medical School（约翰霍普金斯医学院） ； Institute of Medical Informatics（医学信息学研究所） ； University of Lübeck（吕贝克大学） ； Image Analysis and Communications Laboratory（图像分析与通信实验室） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Johns Hopkins University（约翰霍普金斯大学） ； CSAIL（媒体实验室） 纠错

专题命中 医疗多模态 ：MRI(abstract)；分类 cs.CV

MicroVQA++: High-Quality Microscopy Reasoning Dataset with Weakly Supervised Graphs for Multimodal Large Language Model

Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan

机构 * Fudan University（复旦大学） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.CV

Comments 11 pages, 4 figures

HCFSLN: Adaptive Hyperbolic Few-Shot Learning for Multimodal Anxiety Detection

Aditya Sneh, Nilesh Kumar Sahu, Anushka Sanjay Shelke, Arya Adyasha, Haroon R. Lone

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.LG

SkinCaRe: A Multimodal Dermatology Dataset Annotated with Medical Caption and Chain-of-Thought Reasoning

Yuhao Shen, Liyuan Sun, Yan Xu, Wenbin Liu, Shuping Zhang, Shawn Afvari, Zhongyi Han, Jiaoyan Song, Yongzhi Ji, Tao Lu, Xiaonan He, Xin Gao, Juexiao Zhou

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK–Shenzhen)（数据科学学院，香港中文大学（深圳）） ； Computer Science Program, CEMSE Division, King Abdullah University of Science and Technology (KAUST)（计算机科学项目，科学与工程学院，国王 Abdullah 科学技术大学） ； Center of Excellence on Smart Health, KAUST（智能健康卓越中心，国王 Abdullah 科学技术大学） ； Center of Excellence for Generative AI, KAUST（生成式人工智能卓越中心，国王 Abdullah 科学技术大学） ； Department of Dermatology, Beijing AnZhen Hospital, Capital Medical University（皮肤科，北京安贞医院，首都医科大学） ； Department of Dermatology, Tianjin Institute of Integrative Dermatology, Tianjin Academy of Traditional Chinese Medicine Affiliated Hospital（皮肤科，天津整合皮肤科研究院，天津中医药大学附属医院） ； Department of Dermatology, Beijing Aerospace General Hospital（皮肤科，北京航天总医院） ； Department of Dermatology, The First Affiliated Hospital, Shantou University Medical College（皮肤科，汕头大学医学院第一附属医院） ； DermAssure, LLC（DermAssure 公司） ； School of Medicine, New York Medical College（医学院，纽约医学院） ； Capital Medical University（首都医科大学） ； Department of Dermatology, Second Hospital of Jilin University（皮肤科，吉林大学第二医院） ； Emergency Critical Care Center, Beijing AnZhen Hospital, Capital Medical University（急诊重症中心，北京安贞医院，首都医科大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Multimodal Deep Learning for Prediction of Progression-Free Survival in Patients with Neuroendocrine Tumors Undergoing 177Lu-based Peptide Receptor Radionuclide Therapy

Simon Baur, Tristan Ruhwedel, Ekin Böke, Zuzanna Kobus, Gergana Lishkova, Christoph Wetz, Holger Amthauer, Christoph Roderburg, Frank Tacke, Julian M. Rogasch, Wojciech Samek, Henning Jann, Jackie Ma, Johannes Eschrich

机构 * Department of Artificial Intelligence, Fraunhofer Heinrich Hertz Institute（人工智能部门，弗劳恩霍夫海因里希·赫兹研究所） ； Department of Nuclear Medicine, Charité—Universitätsmedizin Berlin（核医学部门，柏林查理医院） ； Department of Hepatology and Gastroenterology, Charité—Universitätsmedizin Berlin（肝病与胃肠病学部门，柏林查理医院） ； Division of Interventional Radiology, Department of Radiology, Memorial Sloan Kettering Cancer Center（介入放射学部门，纪念斯隆-凯特琳癌症中心） ； Department of Endocrinology and Metabolism, Charité—Universitätsmedizin Berlin（内分泌与代谢学部门，柏林查理医院） ； Clinic for Gastroenterology, Hepatology and Infectious Diseases, University Hospital Düsseldorf, Medical Faculty of Heinrich Heine University Düsseldorf（胃肠病、肝病和传染病诊所，杜塞尔多夫大学医院，海因里希·海涅大学医学部） ； Department of Electrical Engineering and Computer Science, Technische Universität Berlin（电气工程与计算机科学部门，柏林技术大学） ； Berlin Institute of Health at Charité – Universitätsmedizin Berlin（柏林查理医院健康研究所） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.LG

ExGra-Med: Extended Context Graph Alignment for Medical Vision-Language Models

Duy M. H. Nguyen, Nghiem T. Diep, Trung Q. Nguyen, Hoang-Bao Le, Tai Nguyen, Tien Nguyen, TrungTin Nguyen, Nhat Ho, Pengtao Xie, Roger Wattenhofer, James Zou, Daniel Sonntag, Mathias Niepert

机构 * German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Max Planck Research School for Intelligent Systems (IMPRS-IS)（马克斯·普朗克智能系统研究学校） ； University of Stuttgart（斯图加特大学） ； University Medical Center Gottingen（哥廷根大学医学中心） ； Max Planck Institute for Multidisciplinary Sciences（马克斯·普朗克多学科科学研究所） ； ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems（细胞系统数学分析卓越中心） ； School of Mathematical Sciences, Queensland University of Technology（昆士兰科技大学数学科学学院） ； University of Oldenburg（奥尔登堡大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California San Diego（加州大学圣地亚哥分校） ； MBZUAI（马克斯·普朗克人工智能研究所） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；分类 cs.LG

Comments Accepted at NeurIPS 2025

MedDChest: A Content-Aware Multimodal Foundational Vision Model for Thoracic Imaging

Mahmoud Soliman, Islam Osman, Mohamed S. Shehata, Rasika Rajapakshe

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments 10 pages, 2 figures

Hulu-Med: A Transparent Generalist Model towards Holistic Medical Vision-Language Understanding

Songtao Jiang, Yuan Wang, Sibo Song, Tianxiang Hu, Chenyi Zhou, Bin Pu, Yan Zhang, Zhibo Yang, Yang Feng, Joey Tianyi Zhou, Jin Hao, Zijian Chen, Ruijia Wu, Tao Tang, Junhui Lv, Hongxia Xu, Hongwei Wang, Jun Xiao, Bin Feng, Fudong Zhu, Kenli Li, Weidi Xie, Jimeng Sun, Jian Wu, Zuozhu Liu

机构 * College of Computer Science and Technology, Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学计算机科学与技术学院） ； Stomatology Hospital, School of Stomatology, Zhejiang University School of Medicine（浙江大学口腔医院） ； Alibaba Inc（阿里巴巴集团） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Angelalign Technology Inc.（Angelalign技术有限公司） ； CFAR & IHPC, Agency for Science, Technology and Research（CFAR与IHPC，新加坡科技研究局） ； Department of Orthodontics, Shanghai Ninth People’s Hospital, College of Stomatology, Shanghai Jiao Tong University（上海第九人民医院正畸科，上海交通大学口腔医学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

SCALE-VLP: Soft-Weighted Contrastive Volumetric Vision-Language Pre-training with Spatial-Knowledge Semantics

Ailar Mahdizadeh, Puria Azadi Moghadam, Xiangteng He, Shahriar Mirabbasi, Panos Nasiopoulos, Leonid Sigal

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute for AI（人工智能向量研究所） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

MID: A Self-supervised Multimodal Iterative Denoising Framework

Chang Nie, Tianchen Deng, Zhe Liu, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（自动化与智能感知学院，上海交通大学） ； Key Laboratory of System Control and Information Processing, Ministry of Education of China（系统控制与信息处理重点实验室，中华人民共和国教育部） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.CV

Dynamic Traceback Learning for Medical Report Generation

Shuchang Ye, Mingyuan Meng, Mingjian Li, Dagan Feng, Usman Naseem, Jinman Kim

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted to IEEE Transactions on Multimedia (TMM)

GEMeX-RMCoT: An Enhanced Med-VQA Dataset for Region-Aware Multimodal Chain-of-Thought Reasoning

Bo Liu, Xiangyu Zhao, Along He, Yidi Chen, Huazhu Fu, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen University（深圳大学） ； West China Hospital of Sichuan University（四川大学华西医院） ； IHPC, Agency for Science, Technology and Research（科技研究局IHPC） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted at ACM MM 2025 (also known as GEMeX-ThinkVG)

MedXplain-VQA: Multi-Component Explainable Medical Visual Question Answering

Hai-Dang Nguyen, Minh-Anh Dang, Minh-Tan Le, Minh-Tuan Le

机构 * Faculty Of Information Technology VNU University of Engineering（信息科技学院越南工程大学） ； IT-BT Convergence Technology Division Vietnam-Korea Institute of Science（IT-BT融合技术部门越南-韩国科学技术院） ； TADI Global Lab TADI Global Company Limited（TADI全球实验室TADI全球有限公司） ； Faculty of Finance Banking Academy of Vietnam（金融学院越南银行学院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments 10 pages, 4 figures, IEEE conference format

MEXA: Towards General Multimodal Reasoning with Dynamic Multi-Expert Aggregation

Shoubin Yu, Yue Zhang, Ziyang Wang, Jaehong Yoon, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments EMNLP 2025 Findings; The first two authors contributed equally; Github link: https://github.com/Yui010206/MEXA

Agro-Consensus: Semantic Self-Consistency in Vision-Language Models for Crop Disease Management in Developing Countries

Mihir Gupta, Pratik Desai, Ross Greer

机构 * The Harker School（哈克尔学校） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Knowledge-Driven Vision-Language Model for Plexus Detection in Hirschsprung's Disease

Youssef Megahed, Atallah Madi, Dina El Demellawy, Adrian D. C. Chan

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments Accepted into the ICAAI 2025 - The 9th International Conference on Advances in Artificial Intelligence

Diagnosing Visual Reasoning: Challenges, Insights, and a Path Forward

Jing Bi, Guangyu Sun, Ali Vosoughi, Chen Chen, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments 5 pages

Better Tokens for Better 3D: Advancing Vision-Language Modeling in 3D Medical Imaging

Ibrahim Ethem Hamamci, Sezgin Er, Suprosanna Shit, Hadrien Reynaud, Dong Yang, Pengfei Guo, Marc Edgar, Daguang Xu, Bernhard Kainz, Bjoern Menze

机构 * University of Zurich（苏黎世大学） ； NVIDIA ； Imperial College London（伦敦帝国理工学院） ； FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments NeurIPS 2025

Chiron-o1: Igniting Multimodal Large Language Models towards Generalizable Medical Reasoning via Mentor-Intern Collaborative Search

Haoran Sun, Yankai Jiang, Wenjie Lou, Yujie Zhang, Wenjie Li, Lilong Wang, Mianxin Liu, Lei Liu, Xiaosong Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

NEBULA: Do We Evaluate Vision-Language-Action Agents Correctly?

Jierui Peng, Yanyan Zhang, Yicheng Duan, Tuo Liang, Vipin Chaudhary, Yu Yin

机构 * Department of Computer & Data Sciences（计算机与数据科学系） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments Homepage: https://vulab-ai.github.io/NEBULA-Alpha/

Med-2E3: A 2D-Enhanced 3D Medical Multimodal Large Language Model

Yiming Shi, Xun Zhu, Kaiwen Wang, Ying Hu, Chenyi Guo, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Learning Collaborative Knowledge with Multimodal Representation for Polyp Re-Identification

Suncheng Xiang, Jiale Guan, Shilun Cai, Jiacheng Ruan, Dahong Qian

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhongshan Hospital of Fudan University（复旦大学中山医院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Dolphin v1.0 Technical Report

Taohan Weng, Kaibing Hu, Henan Liu, Siya Liu, Xiaoyang Liu, Zhenyu Liu, Jiren Ren, Boyan Wang, Boyang Wang, Yiyu Wang, Yalun Wu, Chaoran Yan, Kaiwen Yan, Jinze Yu, Chi Zhang, Duo Zhang, Haoyun Zheng, Xiaoqing Guo, Jacques Souquet, Hongcheng Guo, Anjie Le

专题命中 医疗多模态 ：medical AI(abstract)；分类 cs.CV

Incomplete Multimodal Industrial Anomaly Detection via Cross-Modal Distillation

Wenbo Sui, Daniel Lichau, Josselin Lefèvre, Harold Phelippeau

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments For a published version refer to the Information Fusion, DOI. 10.1016/j.inffus.2025.103572

Journal ref Sui, W., Lichau, D., Lefèvre, J., & Phelippeau, H. (2026). Incomplete multimodal industrial anomaly detection via cross-modal distillation. Information Fusion, 126, Article 103572