Learning from Medical Entity Trees: An Entity-Centric Medical Data Engineering Framework for MLLMs
从医学实体树学习:一种以实体为中心的医疗数据工程框架用于多模态大语言模型
机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University, China(中国教育部多媒体可信感知与高效计算重点实验室,厦门大学,中国) ; ByteDance(字节跳动) ; Northeastern University(东北大学)
AI总结 本文提出以实体为中心的医疗数据工程框架,通过构建医学实体树,提升多模态大语言模型在医疗领域的表现,通过实体引导检索、双重过滤和知识感知数据合成等方法,增强模型处理复杂临床问题的能力。