多模态大模型

M$^3$KG-RAG: Multi-hop Multimodal Knowledge Graph-enhanced Retrieval-Augmented Generation

M$^3$KG-RAG：多跳多模态知识图谱增强的检索增强生成

Hyeongcheol Park, Jiyoung Seo, Jaewon Mun, Hogun Park, Wonmin Byeon, Sung June Kim, Hyeonsoo Im, JeungSub Lee, Sangpil Kim

机构 * Korea University（高丽大学） ； Sungkyunkwan University（成均馆大学） ； NVIDIA Research（英伟达研究院） ； Hanwha Systems（韩华系统） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出M$^3$KG-RAG，通过构建多跳多模态知识图谱并引入GRASP机制，提升多模态大语言模型的推理深度和回答准确性。

Comments Accepted to CVPR 2026

Bottleneck Tokens for Unified Multimodal Retrieval

瓶颈令牌用于统一多模态检索

Siyu Sun, Jing Ren, Zhaohe Liao, Dongxiao Mao, Xiangyuan Ren, Yiyi Zhang, Haohua Zhao, Weixiong Lin, Jiang Shaohua, Liqing Zhang, Yuchao Zheng

机构 * Shanghai Jiao Tong University（上海交通大学） ； ByteDance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出瓶颈令牌和生成信息压缩方法，解决多模态大语言模型在统一检索中的隐式池化和对比微调问题，提升语义压缩效果。

Spotlight and Shadow: Attention-Guided Dual-Anchor Introspective Decoding for MLLM Hallucination Mitigation

聚光与阴影：基于注意力的双锚点反思解码用于MLLM幻觉缓解

Yebo Wu, Han Jin, Zhijiang Guo, Li Li

机构 * State Key Laboratory of IOTSC, University of Macau（澳门大学物联网国家重点实验室） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 跨模态检索 ：MLLM(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出双锚点反思解码框架DaID，通过动态校准每个token生成来缓解MLLM幻觉，利用视觉注意力分布指导双锚点选择，提升推理能力。

Comments Accepted for Findings of ACL 2026

Sat2Sound: A Unified Framework for Zero-Shot Soundscape Mapping

Sat2Sound：一种用于零样本声音景观映射的统一框架

Subash Khanal, Srikumar Sastry, Aayush Dhakal, Adeel Ahmad, Abby Stylianou, Nathan Jacobs

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Taylor Geospatial（泰勒地理空间） ； Saint Louis University（圣路易斯大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 Sat2Sound通过融合多模态数据，实现地球表面声音分布的零样本映射，通过对比学习和代码本对齐学习发现跨模态的'声音景观概念'，在GeoSound和SoundingEarth基准上取得最佳性能。

Comments Accepted to EarthVision 2026

Dual-Margin Embedding for Fine-Grained Long-Tailed Plant Taxonomy

细粒度长尾植物分类的双边嵌入

Cheng Yaw Low, Heejoon Koo, Jaewoo Park, Meeyoung Cha

机构 * Changwon National University（昌原国立大学） ； Max Planck Institute for Security and Privacy (MPI-SP)（马克斯·普朗克安全与隐私研究所） ； AiV Co.（AiV公司） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 本文提出TaxoNet框架，通过理论支撑的双边目标优化类别决策边界，在类别不平衡情况下提升细粒度区分能力和稀有类表示几何。在开放世界设置中，利用多种植物数据集验证了其优于多模态基础模型的性能。

Comments 4 figures, 5 tables, and 17 pages

FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data

FashionMV：基于多视角时尚数据的产品级复合图像检索

Peng Yuan, Bingyin Mei, Hui Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FashionMV，首个大规模多视角时尚数据集，用于产品级复合图像检索。通过构建包含127K产品、472K多视角图像和220K三元组的数据集，结合ProCIR框架，采用多阶段对话、标题对齐和思维链引导等机制，提升了检索性能。

Visual Late Chunking: An Empirical Study of Contextual Chunking for Efficient Visual Document Retrieval

视觉后期分块：一种上下文分块用于高效视觉文档检索的实证研究

Yibo Yan, Mingdong Ou, Yi Cao, Jiahao Huo, Xin Zou, Shuliang Liu, James Kwok, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Alibaba Cloud Computing（阿里云） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ColChunk框架，通过多模态后期分块构建高效上下文化多向量，减少存储需求并提升检索性能。

Comments Preprint

UNIGEOCLIP: Unified Geospatial Contrastive Learning

UNIGEOCLIP：统一地理对比学习

Guillaume Astruc, Eduard Trulls, Jan Hosang, Loic Landrieu, Paul-Edouard Sarlin

机构 * LASTIG, Univ Gustave Eiffel, IGN, ENSG, France（LASTIG，古斯塔夫·埃菲尔大学，法国国家地理林业信息研究所，法国国家地理科学学院，法国） ； Google, Switzerland（谷歌，瑞士） ； CNES, France（法国国家空间研究中心，法国） ； LIGM, CNRS, Univ Gustave Eiffel, ENPC, Institut Polytechnique de Paris, Marne-la-Vallée, France（LIGM，法国国家科学研究中心，古斯塔夫·埃菲尔大学，巴黎高科桥梁学院，巴黎理工学院，马恩拉瓦莱，法国） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 UNIGEOCLIP通过统一嵌入空间对五种地理模态进行联合对齐，提升多模态地理数据的对比学习性能，优于单一模态模型和坐标基线。

Journal ref CVPR 2026 EarthVision