多模态大模型

Towards Faithful Multimodal Concept Bottleneck Models

迈向可信的多模态概念瓶颈模型

Pierre Moreau, Emeline Pineau Ferrand, Yann Choho, Benjamin Wong, Annabelle Blangero, Milan Bhan

机构 * Ekimetrics ； Sorbonne Université, CNRS, LIP6（索邦大学、国家科学研究中心、LIP6实验室） ； Télécom Paris（巴黎电信学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出f-CBM框架，通过可微泄漏损失和Kolmogorov-Arnold网络预测头，解决多模态场景下的概念检测与泄漏问题，实现任务准确度、概念检测和泄漏减少的最佳平衡。

VL-KGE: Vision-Language Models Meet Knowledge Graph Embeddings

VL-KGE：视觉-语言模型与知识图谱嵌入的结合

Athanasios Efthymiou, Stevan Rudinac, Monika Kackovic, Nachoem Wijnberg, Marcel Worring

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出VL-KGE框架，结合视觉-语言模型的跨模态对齐与结构关系建模，提升多模态知识图谱的链接预测性能。

Comments Published in Proceedings of the ACM Web Conference 2026 (WWW '26). This arXiv version includes extended supplementary material

Journal ref In Proceedings of the ACM Web Conference 2026 (WWW '26)

Visual Alignment of Medical Vision-Language Models for Grounded Radiology Report Generation

医学视觉-语言模型的视觉对齐以实现基于基础的放射学报告生成

Sarosij Bose, Ravi K. Rajendran, Biplob Debnath, Konstantinos Karydis, Amit K. Roy-Chowdhury, Srimat Chakradhar

机构 * NEC Laboratories America（NEC美洲实验室） ； University of California, Riverside（加州大学河滨分校） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出VALOR方法，通过临床指导文本推理和自监督视觉推理解决医学报告生成中的视觉幻觉问题，提升生成质量与临床准确性。

Hierarchical Dual-Change Collaborative Learning for UAV Scene Change Captioning

层次化双变化协作学习用于无人机场景变化描述

Fuhai Chen, Pengpeng Huang, Junwen Wu, Hehong Zhang, Shiping Wang, Xiaoguang Ma, Xuri Ge

机构 * Fuzhou University（福州大学） ； Shandong University（山东大学） ； Foshan Graduate School of Innovation, Northeastern University（佛山创新研究生学院，东北大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出无人机场景变化描述任务，旨在生成动态空中影像语义变化的自然语言描述。通过层次化双变化协作学习方法，结合动态自适应布局变换器和层次化跨模态方向一致性校准，提升对视角变化的敏感度，实现在移动视角下的场景变化描述。

Comments 20 pages,10 figures

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

用3D思考：从有限视角出发的几何想象引导的空间推理

Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Xiang An, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Meituan（美团） ； National University of Singapore（新加坡国立大学） ； Beihang University（北航） ； LMMs-Lab（LMMs实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出3DThinker框架，通过利用图像中的丰富几何信息实现空间推理，无需3D先验输入或显式标注3D数据，在多个基准测试中优于现有方法。

Comments 25 pages, 17 figures

Journal ref CVPR 2026

Partially Recentralization Softmax Loss for Vision-Language Models Robustness

部分重校正softmax损失用于视觉-语言模型鲁棒性

Hao Wang, Jinzhe Jiang, Xin Zhang, Chen Li

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出部分重校正softmax损失，通过限制top K softmax输出提升预训练多模态模型的对抗鲁棒性，实验显示细调后模型对主流攻击更具鲁棒性。

Comments The study described in Section 4 was conducted without required institutional review board approval. The paper is withdrawn pending completion of the approval process

A Closed-Form Solution for Debiasing Vision-Language Models with Utility Guarantees Across Modalities and Tasks

为跨模态和任务提供具有实用保障的视觉-语言模型去偏方法

Tangzheng Lian, Guanyu Hu, Yijing Ren, Dimitrios Kollias, Oya Celiktutan

机构 * King’s College London（伦敦国王学院） ； Queen Mary University of London（伦敦女王学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种无需标注数据的训练自由去偏方法，在跨模态空间中获得帕累托最优公平性，同时保持有限的实用性损失，实验显示其在多种公平度量和任务中优于现有方法。

AVION: Aerial Vision-Language Instruction from Offline Teacher to Prompt-Tuned Network

AVION：从离线教师到提示调优网络的空域视觉-语言指令

Yu Hu, Jianyang Gu, Hao Liu, Yue Cao, Jozsef Hamari, Zheng Liu, Mohsen Zardadi

机构 * The University of British Columbia, Okanagan（不列颠哥伦比亚大学奥克兰分校） ； The Ohio State University（俄亥俄州立大学） ； TerraSense Analytics（TerraSense分析） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 AVION提出一种知识蒸馏框架，通过构建语义丰富的文本原型和轻量级提示，提升视觉语言模型在遥感图像中的适应能力，提升少样本分类和跨模态检索性能。

Comments Accepted to CVPR 2026

PatchCue: Enhancing Vision-Language Model Reasoning with Patch-Based Visual Cues

PatchCue: 通过基于补丁的视觉提示增强视觉语言模型推理

Yukun Qi, Pei Fu, Hang Li, Yuhan Liu, Chao Jiang, Bin Qin, Zhenbo Luo, Jian Luan

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出PatchCue，一种基于补丁的视觉提示方法，通过两阶段训练提升VLMs的视觉推理能力，在多项任务中表现优于像素级和点级提示。

GeoZero: Incentivizing Reasoning from Scratch on Geospatial Scenes

GeoZero：从零开始激励地理空间场景的推理

Di Wang, Shunyu Liu, Wentao Jiang, Fengxiang Wang, Yi Liu, Xiaolei Qin, Zhiming Luo, Chaoyang Zhou, Haonan Guo, Jing Zhang, Bo Du, Dacheng Tao, Liangpei Zhang

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Nanyang Technological University（南洋理工大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 GeoZero通过构建两个数据集和A$^2$GRPO方法，使大语言模型在无预定义推理链监督下实现地理空间推理，提升了遥感任务的推理多样性和准确性。

Comments Code, data, and models are available at https://github.com/MiliLab/GeoZero