DM-KG: A Novel Method for Boosting Spatial Cognition of Vision-Language Models in Street View Imagery
DM-KG:一种提升街景图像中视觉语言模型空间认知的新方法
机构 * Institute of Surveying and Mapping, Information Engineering University(信息工程大学测绘学院) ; Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences(中国科学院地理科学与资源研究所)
专题命中 视觉问答 :vision-language model(title,abstract);VLM(abstract,abstract_cn);visual question answering(abstract);分类 cs.CV
AI总结 研究针对视觉语言模型在街景图像空间认知方面的不足,提出DM-KG框架,通过提取实体关系、结合全景分割与深度估计计算坐标并编码知识图,有效提升模型空间推理准确性,降低误差,为地理视觉问答提供新框架。