多模态大模型

AeroRAG: Structured Multimodal Retrieval-Augmented LLM for Fine-Grained Aerial Visual Reasoning

AeroRAG：结构化多模态检索增强型LLM用于细粒度航空视觉推理

Junxiao Xue, Quan Deng, Tingqi Hu, Meicong Si, Xinyi Yin, Yunyun Shi, Xuecheng Wu

机构 * Research Center for Space Computing System, Zhejiang Lab, Hangzhou（杭州浙大实验室空间计算系统研究中心） ； Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou（中国科学院大学杭州高等研究院） ； School of Cyber Science and Engineering, Zhengzhou University（郑州大学计算机科学与工程学院） ； School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出AeroRAG，通过结构化场景图引导的多模态检索增强生成框架，解决航空场景中视觉问答的挑战，提升对小物体、数量、位置及物体关系的推理能力。

SOLAR: Self-supervised Joint Learning for Symmetric Multimodal Retrieval

SOLAR：用于对称多模态检索的自监督联合学习

Wenjie Yang, Hang Yu, Yuyu Guo, Peng Di

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出SOLAR框架，通过自监督学习解决对称多模态检索问题，利用未标记数据提升模型性能，实验显示其在基准测试中优于现有方法。

Comments Accepted by ICML 2026. Code, model and benchmark are available at https://github.com/codefuse-ai/SOLAR

MG$^2$-RAG: Multi-Granularity Graph for Multimodal Retrieval-Augmented Generation

MG$^2$-RAG：多粒度图用于多模态检索增强生成

Sijun Dai, Qiang Huang, Xiaoxing You, Jun Yu

机构 * School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 MG$^2$-RAG通过构建层次化多模态知识图谱，融合文本与视觉信息，提升多模态检索与生成性能，实验显示其在四个任务中均取得最佳效果，同时显著提升效率。

Hyper-modal Imputation Diffusion Embedding with Dual-Distillation for Federated Multimodal Knowledge Graph Completion

基于双蒸馏的超模态插补扩散嵌入用于联邦多模态知识图谱补全

Ying Zhang, Yu Zhao, Xuhui Sui, Baohang Zhou, Xiangrui Cai, Li Shen, Xiaojie Yuan, Dacheng Tao

机构 * College of Computer Science, VCIP, DISSec, Nankai University（计算机学院、VCIP、DISSec、南开大学） ； School of Software, Tiangong University（软件学院、天津工业大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院、南洋理工大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.MM

AI总结 针对多模态知识图谱分散问题，提出FedMKGC任务及MMFeD3-HidE框架，客户端内用超模态插补扩散嵌入模型，客户端间用多模态联邦双蒸馏传输知识，通过FedMKGC基准验证了该框架的有效性、语义一致性和收敛鲁棒性。

Comments Published in IEEE Transactions on Multimedia, 2026

Stream-aware Side Adaptation for Large Pre-trained Multimodal Embedding Models in Sequential Recommendation

用于序列推荐中大型预训练多模态嵌入模型的流感知侧适应

Junchen Fu, Kaiwen Zheng, Ioannis Arapakis, Wenhao Deng, Xin Xin, Joemon M. Jose, Xuri Ge

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 针对大型预训练多模态嵌入模型用于序列推荐时因域不对准性能不佳的问题，提出Stresa框架，通过流感知隐藏适配器融合和残差流适配器，有效解锁模型潜力，实验证明其性能优于标准侧适配器和基线。

Comments Accepted by ACM MM2026

On the modality gap and the contrastive loss in multi-modal representation learning

关于多模态表示学习中的模态差距和对比损失

Fabian Mager, Hiba Nassar, Lars Kai Hansen

机构 * Technical University of Denmark（丹麦技术大学） 纠错

专题命中 跨模态检索 ：multi-modal(title)；分类 cs.CV

AI总结 研究CLIP风格双编码器对比学习中的模态差距，发现是InfoNCE公式在低温下的模式失败所致。提出xNCE方法，使用跨模态和模态内负对比对，能缩小模态差距，提升零样本分类性能且不牺牲判别几何。

NMIRacle: Multi-modal Generative Molecular Elucidation from IR and NMR Spectra

NMIRacle：从红外和核磁共振谱进行多模生成分子解析

Federico Ottomano, Yingzhen Li, Alex M. Ganose

机构 * Federico Ottomano ； Yingzhen Li ； Alex M. Ganose 纠错

专题命中 跨模态检索 ：multi-modal(title)

AI总结 NMIRacle通过两阶段生成框架，利用红外和核磁共振光谱数据实现分子结构的高精度解析，优于现有方法并保持复杂性下的鲁棒性。

Bayesian Active Learning with Gaussian Processes Guided by LLM Relevance Scoring for Dense Passage Retrieval

基于LLM相关性评分的高斯过程引导的贝叶斯主动学习用于密集段落检索

Junyoung Kim, Anton Korikov, Jiazhou Liang, Justin Cui, Yifan Simon Liu, Qianfeng Wen, Mark Zhao, Scott Sanner

机构 * Sungkyunkwan University（成均馆大学） ； University of Toronto（多伦多大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出BAGEL框架，通过高斯过程引导LLM相关性评分，解决传统方法在语义不同聚类中检索失败和相关性信号传播不足的问题，实验证明其在四个数据集上优于LLM重排序方法。

Comments ACL 2026 Findings

Journal ref Findings of the Association for Computational Linguistics: ACL 2026

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

安全响应很重要：输出感知安全护栏减轻多模态大语言模型中的过度拒绝

Jiayi Li, Kun Zhan

机构 * Lanzhou University（兰州大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 研究多模态大语言模型安全机制权衡问题，提出输出感知安全护栏范式，通过在模型隐藏状态空间预测及多实例对比学习训练分类器，减少过度拒绝，匹配安全性能，保留模型效用与安全能力。

Comments Accepted to ECCV 2026!