多模态大模型

Multimodal Large Language Models for Remote Sensing Image Understanding: Domain-Specific or General-Purpose?

用于遥感图像理解的多模态大语言模型：领域特定还是通用？

Qiwei Ma, Chunping Qiu, Xinjun Cheng, Xiaoyu Zhang, Puhong Duan, Ke Yang, Xudong Kang, Shutao Li

机构 * School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院） ； Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室） ； Yuelushan Center for Industrial Innovation（岳麓山工业创新中心） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文针对遥感图像理解的多模态大语言模型展开研究，通过系统调查和评估，比较其与通用模型在不同任务上的表现，发现当前模型存在局限，进而给出未来方向，为开发相关模型提供系统参考。

Comments 27 pages, 11 figures

VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text?

VISTA-Bench: 视觉-语言模型是否真的能像纯文本一样理解可视化文本？

Qing'an Liu, Juntong Feng, Yuhao Wang, Xinzhe Han, Yujie Cheng, Yue Zhu, Haiwen Diao, Yunzhi Zhuge, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 VISTA-Bench通过对比纯文本和可视化文本问题，揭示了视觉-语言模型在处理可视化文本时的模态差距，发现模型在语义相同的情况下表现显著下降。

Comments 32 pages, 16 figures

Self-supervision drives representational convergence in medical foundation models more than clinical supervision

自我监督比临床监督更能推动医学基础模型中的表征趋同

Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn

机构 * RWTH Aachen University（亚琛工业大学） ； University Hospital RWTH Aachen（亚琛工业大学附属医院） ； Technical University of Munich（慕尼黑工业大学） ； Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学） ； Technical University Dresden（德累斯顿工业大学） ； University Hospital Dresden（德累斯顿大学附属医院） ； University Hospital Heidelberg（海德堡大学附属医院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究探讨医学基础模型中表征趋同问题，通过对多个编码器剖析发现自我监督比临床监督更能驱动收敛，虽收敛有限但线性分类器可跨编码器转移，表明医学成像收敛由预训练目标决定，为互操作性设计与验证提供依据。