多模态大模型

Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

前沿大语言模型能否媲美原生多模态嵌入？在难负例文本到图像检索上的对比

Archan Dutta, Vyanktesh Kanungo

机构 * Westcliff University（韦克利夫大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究在Flickr30k数据集上对比Gemini Embedding 2等原生多模态嵌入与GPT-4.1、Claude Sonnet 4.6等前沿LLM的难负例文本到图像检索性能，发现二者表现相当，且多模态嵌入更适配低延迟应用

BEST-KAG: Enhancing Question Answering of Building Engineering Standards with Multimodal Knowledge Graph Modeling and Large Language Model

BEST-KAG：通过多模态知识图谱建模与大语言模型增强建筑工程标准的问答能力

Jia-Rui Lin, Junxi Guo, Keyin Chen, Peng Pan

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出BEST-KAG框架，通过多模态知识图谱建模与大语言模型，解决建筑工程标准问答的现有局限，在相关评估指标上优于主流大语言模型。

ArtECulture: Benchmarking Culture-Conditioned Visual Emotion Understanding in Multimodal Large Language Models

ArtECulture：评测多模态大语言模型中的文化条件视觉情感理解

Xiaolin Chen, Xuemeng Song, Wenhao Shi, Xianjing Han, Mong-Li Lee, Wynne Hsu

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对现有视觉情感理解方法忽略文化差异的问题，提出ArtECulture基准与检索增强型文化条件情感理解框架，评估多模态大语言模型在该任务上的表现并验证框架的提升效果。

MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models

MM-ShiftKV：用于多模态大语言模型的解码感知预填充阶段键值选择

Jinsong Shu, Chenyang Wu, Zhongle Xie, Baokun Wang, Lidan Shou

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术产业开发区（滨江）区块链与数据安全研究院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态大语言模型中KV缓存问题，提出MM-ShiftKV方法，通过构建方差扩展查询代理近似解码时查询行为，基于聚合注意力质量估计KV重要性，在严格缓存预算下性能优于现有方法。

Comments 19 pages, 11 figures

Benchmarking Fine-tuning and Retrieval Strategies for a Multimodal Language Model on the NRC Reactor Operator Licensing Examination

基于美国核管理委员会反应堆操作员执照考试的多模态语言模型微调与检索策略基准测试

Isak Hwang, Yoon Pyo Lee

机构 * organization= Department of Nuclear Engineering, Hanyang University , addressline= 222 Wangsimni-ro , postcode= 04763 , state= Seongdong-gu , city= Seoul , country= South Korea ； organization= The Grainger College of Engineering, Nuclear, Plasma \& Radiological Engineering, University of Illinois Urbana-Champaign , city= Urbana , state= IL , country= USA 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对美国核管理委员会反应堆操作员执照考试，评估310亿参数多模态模型应用核知识的能力，通过对比基础模型与多种微调及检索配置，发现固定大小分块RAG的SFT配置表现最佳，并揭示了分块策略规律及RAFT与SFT的性能差异。

ColGraphRAG: Late-Interaction Evidence Retrieval for Multimodal GraphRAG

ColGraphRAG：用于多模态GraphRAG的后期交互证据检索

Seonok Kim

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态问答中基于图的证据检索问题，核心方法是在ColBERT/ColPali系列中用后期交互多向量评分替换视觉候选排序算子，主要贡献是改进了图相连图像候选检索及下游问答效果，揭示视觉证据作用模式，为后续工作指明方向。

Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026

通过置信度校准和增量推理实现特定任务的多模态问答代理，用于QANTA 2026

Nirjhar Das, Md. Al-Mamun Provath

机构 * Department of Computer Science ； Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对QANTA 2026共享挑战，开发特定任务双代理架构，抢答代理用带置信度校准的模型及数值推理策略，加分代理用多种推理整合信息，强调仅托管环境下的高效推理与校准，系统取得高分，证明轻量级策略在资源受限问答中性能强。

Comments 10 pages, 1 figure. Accepted at the EMM-QA 2026 Workshop, ICML 2026 (Non-Archival). Rank #1 overall system in the QANTA 2026 Challenge

Contrastive and Adaptive Multi-modal Masked Autoencoder for Spatial Transcriptomics

对比自适应多模态掩码自编码器用于空间转录组学

Joohyeok Kim, Taejin Jeong, Jinyeong Kim, Seong Jae Hwang

机构 * Department of Artificial Intelligence, Yonsei University（延世大学人工智能系） ； Department of Computer Science, Yonsei University（延世大学计算机科学系） ； Yonsei University College of Medicine（延世大学医学院） 纠错

专题命中 跨模态检索 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种基于掩码自编码器的空间插补方法，利用对比学习和自适应锚点选择，从少量基因表达和H&E图像预测全切片基因表达，在10%转录组覆盖下仍优于现有方法。

Context-Aware RL for Agentic and Multimodal LLMs

上下文感知强化学习用于智能体与多模态大语言模型

Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, Prateek Mittal, Xingyu Fu

机构 * Princeton University（普林斯顿大学） ； UC Davis（加州大学戴维斯分校） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出ContextRL方法，通过间接辅助目标（上下文选择奖励）增强大模型在长上下文和多模态任务中的细粒度推理能力，在5个长程基准和12个视觉问答基准上分别提升+2.2%和+1.8%。

Comments 29 pages, 9 figures

MMLongEmbed: Benchmarking Multimodal Embedding Models in Long-Context Scenarios

MMLongEmbed: 长上下文场景下的多模态嵌入模型基准测试

Haitian Wang, Ruoxi Sun, Quantong Qiu, Juntao Li, Junhui Li, Hua Chen, Jinxiong Chang, Min Zhang

机构 * Soochow University（苏州大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态嵌入模型在长上下文场景中缺乏系统评估的问题，提出首个综合基准MMLongEmbed，涵盖文本、文档和视频模态的检索任务，揭示模型依赖浅层特征匹配、难以捕捉深层语义依赖等瓶颈。

Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning

任务感知结构化记忆用于动态多模态上下文学习

Zhirui Chen, Ziwei Chen, Ling Shao

机构 * Zhihui Chen（陈志辉） ； Ziwei Chen（陈子伟） ； Ling Shao（邵令） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出TASM框架，通过任务向量引导压缩、语义感知令牌合并和层次化记忆结构，解决多模态大语言模型上下文学习中记忆压缩导致的语义破坏和静态问题。

Comments Accepted to ICML 2026

MM-Matryoshka: Towards Budget-Elastic Visual Document Retrieval via a 2D Multimodal Matryoshka Training Framework

MM-Matryoshka：通过二维多模态套娃训练框架实现预算弹性视觉文档检索

Haowen Xiang, Yibo Yan, Jiahao Huo, Yu Huang, Yi Cao, Mingdong Ou, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Alibaba Cloud Computing（阿里云计算） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出MM-Matryoshka，一种二维套娃训练框架，使视觉文档检索器在向量维度和编码器深度上实现弹性预算选择，无需为不同预算训练独立模型。

S2Dialog: Multimodal Dialogue Retrieval with Semantic and Acoustic-Style Modeling

S2Dialog：结合语义与声学风格建模的多模态对话检索

Xueqi Wang, Zhigang Wang, Runqing Zhang, Zhenqi Jia, Junfeng Zhao

机构 * College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院） ； University of Electronic Science and Technology of China, Shenzhen Campus（电子科技大学深圳校区） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究针对现有多模态对话检索方法无法捕捉对话全局语义与风格一致性的问题，提出S2Dialog框架，结合对话级文本与声学检索器及对比学习，在DailyTalk数据集上实现出色检索性能。

Attribute-Conditioned Multimodal Slot Factorization for Controllable Fashion Retrieval

用于可控时尚检索的属性条件多模态槽分解

Najmeh Forouzandehmehr, Topojoy Biswas, Evren Korpeoglu, Kannan Achan

机构 * Walmart Global Tech（沃尔玛全球科技） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出MM-slotgate多模态槽编码器，将Fashion-CLIP嵌入分解为属性槽，在H&M数据集上实现可控时尚检索，颜色等属性性能提升显著，优于多模态融合与仅文本检索方法。

Integrated Multimodal AI System for Retrieval-Augmented Reasoning, Object Sensing, and Damage Analysis

用于检索增强推理、物体感知与损伤分析的集成多模态AI系统

Kalelo Dukuray, Israel Pina, Evan Perez, Erika Ardiles-Cruz, Jie Wei

机构 * City College of New York（纽约城市学院） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究提出整合RAG、热谱感知等技术的多模态AI系统，用于损伤评估，通过多模块对比实验验证了其在提升推理准确性、鲁棒性及跨场景检测方面的优势。

Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification

用于通用跨模态行人重识别的双空间模态一致性学习

Yujian Zhao, Yukang Zhao, Hankun Liu, Haoxuan Xu, Bo Li, Hanzi Wan, Guanglin Niu

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； School of Humanities and Social Sciences, Beihang University（北京航空航天大学人文与社会科学高等研究院） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； School of Informatics, Xiamen University（厦门大学信息学院） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出DSMCL即插即用框架，联合建模空间与频域一致性，在5个数据集的17项协议上提升跨模态ReID基线性能，适配多样化异构模态场景。

Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval

从失败中学习：基于难负例的以检索为中心的思维链用于统一多模态检索

Zelong Sun, Jun Wang, Kaicheng Yang, Tiancheng Gu, Ziyong Feng, Zhiwu Lu

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出UniME-R1框架，通过基于难负例的以检索为中心的思维链（RC-CoT）学习从检索失败中优化，在多模态检索基准上提升了性能。

Comments 26 pages,10 figures,14 Tables

ReLoop-UME: Recurrent Depth with Learnable Retrieval Registers for Universal Multimodal Embedding

ReLoop-UME：带可学习检索寄存器的循环深度通用多模态嵌入

Shijie Wang, Xiangzhao Hao, Yueti Li, Guangyu Cao, Xinyu Tang, Haiyun Guo

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对通用多模态嵌入的延迟问题，提出带可学习检索寄存器的循环深度模型ReLoop-UME，在MMEB-V2等数据集上提升检索性能且运行速度显著优于现有模型。

DualG-MRAG: Decoupling Macro-Reasoning and Micro-Matching for Multimodal Retrieval-Augmented Generation

DualG-MRAG：面向多模态检索增强生成的宏观推理与微观匹配解耦框架

Jiacheng Tao, Qingyun Sun, Haonan Yuan, Ziwei Zhang, Jianxin Li

机构 * Beihang University（北京航空航天大学） ； SKLCCSE 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态RAG在复杂多跳推理中存在的问题，本文提出DualG-MRAG框架，通过解耦宏观推理与微观匹配抑制检索噪声，经实验验证其在证据召回和问答准确率上优于基线。

Comments Accepted to the 34th ACM International Conference on Multimedia (ACM MM 2026). 12 pages

RRM: Experience-Driven Reflective Retrieval Memory for Long-Horizon Multimodal Reasoning

RRM：用于长周期多模态推理的经验驱动反思式检索记忆

Jingxiang Fan, Junbao Zhuo, Bochao Zou

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究针对现有多模态长期智能体检索机制不足的问题，提出RRM框架，通过反思式经验记忆提炼跨任务检索策略，在多个多模态推理数据集上取得优于现有方法的性能。

Multimodal Hybrid Retrieval-Augmented Generation for Scientific Document Understanding using Open-Source SLMs

使用开源语言模型进行科学文档理解的多模态混合检索增强生成

Alexandru-Andrei Saucă, Ana-Luiza Rusnac

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对科学文档理解中大型语言模型的问题，提出多模态混合检索增强生成系统。利用开源视觉语言模型生成摘要，结合多种检索方法并优化，采用查询压缩器确保连贯性。经评估，该系统提高了检索质量，验证了开源模型与先进策略结合的竞争力。

Comments 7 pages, 1 figure, 4 tables

DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models

DICA：多模态大语言模型中的双指标引导对比对齐

Hao Yang, Jin Wang, Xuejie Zhang

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型的问题，提出双指标引导对比对齐方法（DICA），通过跟踪视觉注意力熵和输出图像相关性两个指标，根据异常情况触发对比对齐，实验证明该方法能提升模型可靠性，优于现有方法。

Verification-Notebook Learning for Source-Aware Multimodal Misinformation Detection

用于源感知多模态错误信息检测的验证笔记本学习

Junyuan Tan

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态错误信息检测，提出验证笔记本学习框架VNL，通过构建包含决策原则等的笔记本，在推理时指导验证新示例，实验显示其性能优于基线，能提高源归因且紧凑可解释，无需模型训练积累知识。

In-Context Learning for Wound Classification with Small Multimodal Language Models

使用小型多模态语言模型进行伤口分类的上下文学习

George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

机构 * Jönköping University（延雪平大学） ； Halmstad University（哈尔姆斯塔德大学） ； Mölnlycke Health Care（墨尼克医疗保健公司） ； Centre for Reliable Machine Learning, Royal Holloway, University of London（伦敦大学皇家霍洛威学院可靠机器学习中心） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究评估小型多模态语言模型能否通过基于检索的上下文学习为伤口分类提供免训练替代方案，使用两个数据集和多种方法实验，结果显示查询条件下的上下文学习效果较好，Qwen 3.5 27B搭配kNN+MMR表现最佳，该方法可实现适应性伤口图像分类。

Eddy-VL 1.9B: Structural Pruning and Layered Distillation for Edge-Deployable Multimodal Embedding

Eddy-VL 1.9B：用于边缘可部署多模态嵌入的结构剪枝与分层蒸馏

HanYeong Cho, Changwoo Kim, Taeuk Chu, Jimin Park

机构 * Urock-AI Lab（Urock人工智能实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 介绍用于边缘可部署视觉语言检索的Eddy-VL 1.9B模型，采用探针驱动结构剪枝和分层知识蒸馏压缩，参数减少约9.5%，在MMEB-V2等评估中保留教师模型大部分性能，降低延迟，证明其在受限边缘部署下多模态检索的有效性。

Comments 11pages,4figures,Model weights and inference code are available on Hugging Face

A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi

在6GB 2011 GPU上的现代多模态助手：针对费米架构的阶段验证、全GPU CUDA推理

A. C. Opus, J. Q. Lu

机构 * Department of Physics, University of Puerto Rico（物理系，波多黎各大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究在6GB 2011费米GPU上部署MiniCPM-V-4.6多模态助手，通过构建全GPU引擎、移植验证视觉部分、优化长上下文处理等方法，实现了高效的推理，能在1.7秒内端到端回答图像问题。

Multimodal Scenario Similarity Search for Autonomous Driving

用于自动驾驶的多模态场景相似性搜索

Tamás Matuszka, András Tamásy, Balázs Szolár

机构 * aiMotive（爱莫提夫） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究自动驾驶场景相似性搜索，提出多模态框架结合视觉与轨迹表示，对比两种基于轨迹的方法与视觉基线，实验表明轨迹表示在运动事件中性能强，视觉嵌入在外观线索丰富时出色，结合二者可提升检索质量。

AI Wizards at EXIST 2026: Hierarchical Soft-Label Learning for Multimodal Sexism Identification in Memes

2026年EXIST竞赛中的AI奇才：用于表情包中多模态性别歧视识别的分层软标签学习

Matteo Fasulo, Antonio Gravina, Luca Tedeschini, Luca Babboni

机构 * EXIST Lab（EXIST实验室） ； CLEF（信息检索评价论坛） ； Swiss Data Science Center, ETH Zürich（瑞士苏黎世联邦理工学院瑞士数据科学中心） ； Everest Systems GmbH（珠穆朗玛峰系统有限公司） ； Villanova.ai S.P.A（维拉诺瓦人工智能股份公司） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 针对表情包多模态性别歧视识别，将任务分层建模为基于经验注释者分布的条件软标签预测，用轻量级门控MLP映射视觉语言表征，在竞赛中取得好成绩。

ELVA: Exploring Ranking-Driven Universal Multimodal Retrieval

ELVA：探索排序驱动的通用多模态检索

Yuhan Liu, Pei Fu, Hang Li, Yukun Qi, Chao Jiang, Jingwen Fu, Zhen Liu, Bin Qin, Zhenbo Luo, Jian Luan, Jingmin Xin

机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家级重点实验室） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） ； MiLM Plus ； Xiaomi Inc（小米公司） ； Zhongguancun Academy（中关村学院） ； Beijing, China（北京市） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出ELVA框架，通过基于规则的强化学习缓解对比学习中的粒度盲视问题，在通用多模态检索中实现排序优化，并在新基准MRBench上提升13.1%。

Comments Accepted by ECCV 2026

InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories

InduceKV: 通过诱导KV记忆实现多模态大语言模型的固定足迹持续适应

Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

机构 * Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出InduceKV方法，通过检索将训练前缀存储为注意力就绪的记忆条目，在固定内存预算下实现多模态大语言模型的持续适应，无需更新骨干模型。