多模态大模型

Towards Effective Federated Multimodal Graph Learning via Navigating Multifaceted Heterogeneity

面向有效联邦多模态图学习的多层面异质性导航方法

Yinlin Zhu, Di Wu, Yi Zhang, Xunkai Li, Wang Luo, Wei-Jin Huang, Miao Hu, Guocong Quan

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对联邦多模态图学习的多层面异质性问题，本文提出FedTCR算法，通过两阶段范式与拓扑感知跨模态路由机制，在7个领域的图中心与模态中心任务上优于现有最优基线。

Comments Under Review

CMDR: Contextual Multimodal Document Retrieval

CMDR：上下文多模态文档检索

Ryota Tanaka, Taku Hasegawa, Kyosuke Nishida

机构 * Human Informatics Labs.（人文信息实验室） ； NTT, Inc.（日本NTT公司） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究多模态文档检索，提出CMDR-Embed框架联合编码页面纳入文档上下文，引入CMCL对比学习目标训练，实验证明该框架显著优于非上下文嵌入，凸显上下文感知多模态嵌入对文档检索的重要性。

Comments Accepted by ECCV 2026; project page: https://cmdr-bench.github.io/

Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

迷失在末尾：多模态检索增强问答中的首因偏差

Jieyuan Liu, Jianyang Gu, Shijie Chen, Jefferson Chen, Zhen Wang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究多模态知识型视觉问答中检索上下文的位置依赖，发现不同于纯文本的U形效应，出现首因偏差（开头优于末尾），并通过消融实验定位原因为指令调优阅读器的提示槽0。

Comments 15 pages, 9 figures

Retrieval-Augmented Multimodal Learning for Enzyme-Substrate Interaction Prediction Under Low-Homology Shift

检索增强的多模态学习用于低同源性偏移下的酶-底物相互作用预测

Chen Liu, Bingxin Zhou, Xinyuan Wang, Ming Li, Guisheng Fan, Liang Hong

机构 * School of Information Science and Engineering, East China University of Science and Technology（华东理工大学信息科学与工程学院） ； Institute of Natural Sciences and Zhangjiang Institute for Advanced Study, Shanghai Jiao Tong University（上海交通大学自然科学研究院和张江高等研究院） ； School of Life Sciences and Biotechnology, Shanghai Jiao Tong University（上海交通大学生命科学技术学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出RAMMESI框架，通过跨模态交互建模、自适应融合和检索增强，解决酶-底物相互作用预测中稀疏正监督和低同源性分布偏移问题，在低序列一致性场景下表现优异。

Comments 13 pages, 6 figures

FiRE: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval

FiRE：利用细粒度上下文学习增强多模态大语言模型（MLLMs）以实现复杂图像检索

Bohan Hou, Haoqiang Lin, Xuemeng Song, Haokun Wen, Meng Liu, Yupeng Hu, Xiangyu Zhao

机构 * Shandong University（山东大学） ； City University of Hong Kong（香港城市大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shandong Jianzhu University（山东建筑大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract,abstract_cn)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本研究针对MLLMs在复杂图像检索任务中细粒度建模不足的问题，提出自动化细粒度多模态五元组数据集构建流程与两阶段微调策略，在零样本设置下于五个数据集上取得优于现有方法的性能。

Journal ref Proceedings of the ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2025)

MODE-RAG: Manifold Outlier Diagnosis and Energy-based Retrieval-Augmented Generation Evaluation

MODE-RAG: 基于流形异常诊断和能量的检索增强生成评估

Zehang Wei, Jiaxin Dai, Jiamin Yan, Xiang Xiang

机构 * School of Computer Science & Tech, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； School of AI and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出MODE-RAG多智能体系统，利用变分自由能和内部注意力状态动态门控干预，结合蒙特卡洛树搜索和logit扰动减少多模态检索增强生成中的幻觉和逻辑捏造。

Comments To be presented at ACL 2026

Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

前沿大语言模型能否媲美原生多模态嵌入？在难负例文本到图像检索上的对比

Archan Dutta, Vyanktesh Kanungo

机构 * Westcliff University（韦克利夫大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究在Flickr30k数据集上对比Gemini Embedding 2等原生多模态嵌入与GPT-4.1、Claude Sonnet 4.6等前沿LLM的难负例文本到图像检索性能，发现二者表现相当，且多模态嵌入更适配低延迟应用

BEST-KAG: Enhancing Question Answering of Building Engineering Standards with Multimodal Knowledge Graph Modeling and Large Language Model

BEST-KAG：通过多模态知识图谱建模与大语言模型增强建筑工程标准的问答能力

Jia-Rui Lin, Junxi Guo, Keyin Chen, Peng Pan

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出BEST-KAG框架，通过多模态知识图谱建模与大语言模型，解决建筑工程标准问答的现有局限，在相关评估指标上优于主流大语言模型。

ArtECulture: Benchmarking Culture-Conditioned Visual Emotion Understanding in Multimodal Large Language Models

ArtECulture：评测多模态大语言模型中的文化条件视觉情感理解

Xiaolin Chen, Xuemeng Song, Wenhao Shi, Xianjing Han, Mong-Li Lee, Wynne Hsu

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 针对现有视觉情感理解方法忽略文化差异的问题，提出ArtECulture基准与检索增强型文化条件情感理解框架，评估多模态大语言模型在该任务上的表现并验证框架的提升效果。

MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models

MM-ShiftKV：用于多模态大语言模型的解码感知预填充阶段键值选择

Jinsong Shu, Chenyang Wu, Zhongle Xie, Baokun Wang, Lidan Shou

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术产业开发区（滨江）区块链与数据安全研究院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态大语言模型中KV缓存问题，提出MM-ShiftKV方法，通过构建方差扩展查询代理近似解码时查询行为，基于聚合注意力质量估计KV重要性，在严格缓存预算下性能优于现有方法。

Comments 19 pages, 11 figures

Benchmarking Fine-tuning and Retrieval Strategies for a Multimodal Language Model on the NRC Reactor Operator Licensing Examination

基于美国核管理委员会反应堆操作员执照考试的多模态语言模型微调与检索策略基准测试

Isak Hwang, Yoon Pyo Lee

机构 * organization= Department of Nuclear Engineering, Hanyang University , addressline= 222 Wangsimni-ro , postcode= 04763 , state= Seongdong-gu , city= Seoul , country= South Korea ； organization= The Grainger College of Engineering, Nuclear, Plasma \& Radiological Engineering, University of Illinois Urbana-Champaign , city= Urbana , state= IL , country= USA 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对美国核管理委员会反应堆操作员执照考试，评估310亿参数多模态模型应用核知识的能力，通过对比基础模型与多种微调及检索配置，发现固定大小分块RAG的SFT配置表现最佳，并揭示了分块策略规律及RAFT与SFT的性能差异。

ColGraphRAG: Late-Interaction Evidence Retrieval for Multimodal GraphRAG

ColGraphRAG：用于多模态GraphRAG的后期交互证据检索

Seonok Kim

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态问答中基于图的证据检索问题，核心方法是在ColBERT/ColPali系列中用后期交互多向量评分替换视觉候选排序算子，主要贡献是改进了图相连图像候选检索及下游问答效果，揭示视觉证据作用模式，为后续工作指明方向。

Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026

通过置信度校准和增量推理实现特定任务的多模态问答代理，用于QANTA 2026

Nirjhar Das, Md. Al-Mamun Provath

机构 * Department of Computer Science ； Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对QANTA 2026共享挑战，开发特定任务双代理架构，抢答代理用带置信度校准的模型及数值推理策略，加分代理用多种推理整合信息，强调仅托管环境下的高效推理与校准，系统取得高分，证明轻量级策略在资源受限问答中性能强。

Comments 10 pages, 1 figure. Accepted at the EMM-QA 2026 Workshop, ICML 2026 (Non-Archival). Rank #1 overall system in the QANTA 2026 Challenge

Contrastive and Adaptive Multi-modal Masked Autoencoder for Spatial Transcriptomics

对比自适应多模态掩码自编码器用于空间转录组学

Joohyeok Kim, Taejin Jeong, Jinyeong Kim, Seong Jae Hwang

机构 * Department of Artificial Intelligence, Yonsei University（延世大学人工智能系） ； Department of Computer Science, Yonsei University（延世大学计算机科学系） ； Yonsei University College of Medicine（延世大学医学院） 纠错

专题命中 跨模态检索 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种基于掩码自编码器的空间插补方法，利用对比学习和自适应锚点选择，从少量基因表达和H&E图像预测全切片基因表达，在10%转录组覆盖下仍优于现有方法。

Context-Aware RL for Agentic and Multimodal LLMs

上下文感知强化学习用于智能体与多模态大语言模型

Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, Prateek Mittal, Xingyu Fu

机构 * Princeton University（普林斯顿大学） ； UC Davis（加州大学戴维斯分校） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出ContextRL方法，通过间接辅助目标（上下文选择奖励）增强大模型在长上下文和多模态任务中的细粒度推理能力，在5个长程基准和12个视觉问答基准上分别提升+2.2%和+1.8%。

Comments 29 pages, 9 figures

MMLongEmbed: Benchmarking Multimodal Embedding Models in Long-Context Scenarios

MMLongEmbed: 长上下文场景下的多模态嵌入模型基准测试

Haitian Wang, Ruoxi Sun, Quantong Qiu, Juntao Li, Junhui Li, Hua Chen, Jinxiong Chang, Min Zhang

机构 * Soochow University（苏州大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态嵌入模型在长上下文场景中缺乏系统评估的问题，提出首个综合基准MMLongEmbed，涵盖文本、文档和视频模态的检索任务，揭示模型依赖浅层特征匹配、难以捕捉深层语义依赖等瓶颈。

Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning

任务感知结构化记忆用于动态多模态上下文学习

Zhirui Chen, Ziwei Chen, Ling Shao

机构 * Zhihui Chen（陈志辉） ； Ziwei Chen（陈子伟） ； Ling Shao（邵令） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出TASM框架，通过任务向量引导压缩、语义感知令牌合并和层次化记忆结构，解决多模态大语言模型上下文学习中记忆压缩导致的语义破坏和静态问题。

Comments Accepted to ICML 2026

MM-Matryoshka: Towards Budget-Elastic Visual Document Retrieval via a 2D Multimodal Matryoshka Training Framework

MM-Matryoshka：通过二维多模态套娃训练框架实现预算弹性视觉文档检索

Haowen Xiang, Yibo Yan, Jiahao Huo, Yu Huang, Yi Cao, Mingdong Ou, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Alibaba Cloud Computing（阿里云计算） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出MM-Matryoshka，一种二维套娃训练框架，使视觉文档检索器在向量维度和编码器深度上实现弹性预算选择，无需为不同预算训练独立模型。

S2Dialog: Multimodal Dialogue Retrieval with Semantic and Acoustic-Style Modeling

S2Dialog：结合语义与声学风格建模的多模态对话检索

Xueqi Wang, Zhigang Wang, Runqing Zhang, Zhenqi Jia, Junfeng Zhao

机构 * College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院） ； University of Electronic Science and Technology of China, Shenzhen Campus（电子科技大学深圳校区） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究针对现有多模态对话检索方法无法捕捉对话全局语义与风格一致性的问题，提出S2Dialog框架，结合对话级文本与声学检索器及对比学习，在DailyTalk数据集上实现出色检索性能。

Attribute-Conditioned Multimodal Slot Factorization for Controllable Fashion Retrieval

用于可控时尚检索的属性条件多模态槽分解

Najmeh Forouzandehmehr, Topojoy Biswas, Evren Korpeoglu, Kannan Achan

机构 * Walmart Global Tech（沃尔玛全球科技） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出MM-slotgate多模态槽编码器，将Fashion-CLIP嵌入分解为属性槽，在H&M数据集上实现可控时尚检索，颜色等属性性能提升显著，优于多模态融合与仅文本检索方法。

Integrated Multimodal AI System for Retrieval-Augmented Reasoning, Object Sensing, and Damage Analysis

用于检索增强推理、物体感知与损伤分析的集成多模态AI系统

Kalelo Dukuray, Israel Pina, Evan Perez, Erika Ardiles-Cruz, Jie Wei

机构 * City College of New York（纽约城市学院） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究提出整合RAG、热谱感知等技术的多模态AI系统，用于损伤评估，通过多模块对比实验验证了其在提升推理准确性、鲁棒性及跨场景检测方面的优势。

Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification

用于通用跨模态行人重识别的双空间模态一致性学习

Yujian Zhao, Yukang Zhao, Hankun Liu, Haoxuan Xu, Bo Li, Hanzi Wan, Guanglin Niu

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； School of Humanities and Social Sciences, Beihang University（北京航空航天大学人文与社会科学高等研究院） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； School of Informatics, Xiamen University（厦门大学信息学院） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出DSMCL即插即用框架，联合建模空间与频域一致性，在5个数据集的17项协议上提升跨模态ReID基线性能，适配多样化异构模态场景。

Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval

从失败中学习：基于难负例的以检索为中心的思维链用于统一多模态检索

Zelong Sun, Jun Wang, Kaicheng Yang, Tiancheng Gu, Ziyong Feng, Zhiwu Lu

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出UniME-R1框架，通过基于难负例的以检索为中心的思维链（RC-CoT）学习从检索失败中优化，在多模态检索基准上提升了性能。

Comments 26 pages,10 figures,14 Tables

ReLoop-UME: Recurrent Depth with Learnable Retrieval Registers for Universal Multimodal Embedding

ReLoop-UME：带可学习检索寄存器的循环深度通用多模态嵌入

Shijie Wang, Xiangzhao Hao, Yueti Li, Guangyu Cao, Xinyu Tang, Haiyun Guo

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对通用多模态嵌入的延迟问题，提出带可学习检索寄存器的循环深度模型ReLoop-UME，在MMEB-V2等数据集上提升检索性能且运行速度显著优于现有模型。

DualG-MRAG: Decoupling Macro-Reasoning and Micro-Matching for Multimodal Retrieval-Augmented Generation

DualG-MRAG：面向多模态检索增强生成的宏观推理与微观匹配解耦框架

Jiacheng Tao, Qingyun Sun, Haonan Yuan, Ziwei Zhang, Jianxin Li

机构 * Beihang University（北京航空航天大学） ； SKLCCSE 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态RAG在复杂多跳推理中存在的问题，本文提出DualG-MRAG框架，通过解耦宏观推理与微观匹配抑制检索噪声，经实验验证其在证据召回和问答准确率上优于基线。

Comments Accepted to the 34th ACM International Conference on Multimedia (ACM MM 2026). 12 pages

RRM: Experience-Driven Reflective Retrieval Memory for Long-Horizon Multimodal Reasoning

RRM：用于长周期多模态推理的经验驱动反思式检索记忆

Jingxiang Fan, Junbao Zhuo, Bochao Zou

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究针对现有多模态长期智能体检索机制不足的问题，提出RRM框架，通过反思式经验记忆提炼跨任务检索策略，在多个多模态推理数据集上取得优于现有方法的性能。

Multimodal Hybrid Retrieval-Augmented Generation for Scientific Document Understanding using Open-Source SLMs

使用开源语言模型进行科学文档理解的多模态混合检索增强生成

Alexandru-Andrei Saucă, Ana-Luiza Rusnac

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对科学文档理解中大型语言模型的问题，提出多模态混合检索增强生成系统。利用开源视觉语言模型生成摘要，结合多种检索方法并优化，采用查询压缩器确保连贯性。经评估，该系统提高了检索质量，验证了开源模型与先进策略结合的竞争力。

Comments 7 pages, 1 figure, 4 tables

DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models

DICA：多模态大语言模型中的双指标引导对比对齐

Hao Yang, Jin Wang, Xuejie Zhang

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型的问题，提出双指标引导对比对齐方法（DICA），通过跟踪视觉注意力熵和输出图像相关性两个指标，根据异常情况触发对比对齐，实验证明该方法能提升模型可靠性，优于现有方法。

Verification-Notebook Learning for Source-Aware Multimodal Misinformation Detection

用于源感知多模态错误信息检测的验证笔记本学习

Junyuan Tan

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态错误信息检测，提出验证笔记本学习框架VNL，通过构建包含决策原则等的笔记本，在推理时指导验证新示例，实验显示其性能优于基线，能提高源归因且紧凑可解释，无需模型训练积累知识。

In-Context Learning for Wound Classification with Small Multimodal Language Models

使用小型多模态语言模型进行伤口分类的上下文学习

George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

机构 * Jönköping University（延雪平大学） ； Halmstad University（哈尔姆斯塔德大学） ； Mölnlycke Health Care（墨尼克医疗保健公司） ； Centre for Reliable Machine Learning, Royal Holloway, University of London（伦敦大学皇家霍洛威学院可靠机器学习中心） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究评估小型多模态语言模型能否通过基于检索的上下文学习为伤口分类提供免训练替代方案，使用两个数据集和多种方法实验，结果显示查询条件下的上下文学习效果较好，Qwen 3.5 27B搭配kNN+MMR表现最佳，该方法可实现适应性伤口图像分类。