多模态大模型

Textual Supervision Enhances Geospatial Representations in Vision-Language Models

文本监督增强视觉-语言模型中的地理空间表示

Marcelo Sartori Locatelli, Fernando Tonucci, Jea Kwon, Luiz Felipe Vecchietti, Bryan Nathanael Wijaya, Cheng Yaw Low, Virgilio Almeida, Meeyoung Cha

机构 * University of São Paulo（圣保罗大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究视觉、视觉-语言及多模态模型的地理空间表示能力，发现文本监督能有效提升空间编码，推动地理空间AI发展。

Comments Accepted at ICML 2026

TEVI: Text-Conditioned Editing of Visual Representations via Sparse Autoencoders for Improved Vision-Language Alignment

TEVI: 基于稀疏自编码器的文本条件视觉表示编辑以改进视觉-语言对齐

Sweta Mahajan, Sukrut Rao, Jiahao Xie, Alexander Koller, Bernt Schiele

机构 * Max Planck Institute for Informatics, Saarland Informatics Campus, Saarbrücken, Germany（马克斯·普朗克研究所信息学院，萨尔兰信息学院，德国萨尔布吕肯） ； Department of Language Science and Technology, Saarland University, Saarbrücken, Germany（语言科学与技术系，萨尔兰大学，德国萨尔布吕肯） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出TEVI框架，利用稀疏自编码器解耦图像嵌入，并通过文本条件掩码模块选择性重构嵌入，以改善CLIP等视觉-语言模型的图像-文本对齐，在多个检索基准上取得提升。

Comments 20 pages, 13 figures, 14 tables

Forest-Chat: Adapting Vision-Language Agents for Interactive Forest Change Analysis

Forest-Chat: 为交互式森林变化分析适应视觉-语言代理

James Brock, Ce Zhang, Nantheera Anantrasirichai

机构 * School of Computer Science, University of Bristol（布里斯托尔大学计算机科学学院） ； School of Geographical Sciences, University of Bristol（布里斯托尔大学地理科学学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出Forest-Chat，一种基于LLM的森林变化分析代理，通过多任务处理实现自然语言查询，提升森林变化检测与语义解释的准确性与可解释性。

Comments 28 pages, 9 figures, 12 tables, Submitted to Ecological Informatics

CL-CLIP: CLIP-Based Continual Learning Framework with Cost-Volume Category Decoupling for Object Detection

CL-CLIP: 基于CLIP的持续学习框架与代价体积类别解耦用于目标检测

Zihan Liu, Yuguang Yang, Shengjie Su, Jianing Pang, Linlin Yang, Chunyu Xie, Nikolai Yu. Zolotykh, Baochang Zhang

机构 * National College for Excellent Engineers, Beihang University（卓越工程师学院，北京航空航天大学） ； AI Research, Qihoo 360（360人工智能研究院，奇虎360） ； School of Electronic Information Engineering, Beihang University（电子信息学院，北京航空航天大学） ； School of Cyber Science and Technology, Beihang University（网络安全科学与技术学院，北京航空航天大学） ； School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北京航空航天大学） ； State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学） ； Institute of Information Technology, Mathematics and Mechanics, Lobachebsky University（信息技术、数学与力学学院，洛瓦茨基大学） ； School of Artificial Intelligence, Beihang University（人工智能学院，北京航空航天大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出CL-CLIP框架，通过代价体积引导的类别解耦，增强开放词汇检测器的持续学习能力，缓解灾难性遗忘，在PASCAL VOC和MS-COCO上显著提升F-ViT基线性能。

Diagnosing Visual Ignorance in Vision-Language Models

诊断视觉语言模型中的视觉忽视

Runyu Zhou, Qi Zhang, Qixun Wang, Yisen Wang

机构 * Peking University（北京大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究视觉语言模型依赖语言先验的内部机制，通过层替换和探针分析揭示多阶段瓶颈，并引入渐进视觉退化指标发现基准测试可能奖励视觉忽视。

MedSIGHT: Towards Grounded Visual Comprehension in Medical Large Vision-Language Models

MedSIGHT：迈向医学大型视觉语言模型中的基础视觉理解

Aofei Chang, Le Huang, Alex James Boyd, Parminder Bhatia, Taha Kass-Hout, Fenglong Ma, Cao Xiao

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MedSIGHT框架，通过区域感知器、医学区域码本和渐进训练策略，统一医学视觉语言模型的语义理解和像素级分割，在72K数据上达到多模态理解与分割的SOTA。

Comments Accepted at ICML 2026

The Dual Mechanisms of Spatial Variable Binding in Vision-Language Models

视觉-语言模型中空间变量绑定的双重机制

Kelly Cui, Nikhil Prakash, Shoval Messica, Ayush Raina, David Bau, Antonio Torralba, Tamar Rott Shaham

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Northeastern University（东北大学） ； Sony Playstation（索尼PlayStation） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文揭示视觉-语言模型通过语言骨干中的内容无关空间关系编码和视觉编码器中的全局布局表示两种机制实现空间变量绑定，其中视觉编码器起主导作用。

Comments 37 pages, 53 figures