Learning Discriminative Representations for Semantic Cross Media Retrieval
专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)
AI 大模型
多模态大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
1. 跨模态检索 3454 篇
Findings of the MAGMaR 2026 Shared Task
MAGMaR 2026 共享任务结果
机构 * Johns Hopkins University（约翰霍普金斯大学） ； OpenAI ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； Air Force Research Laboratory（空军研究实验室） ； Human Language Technology Center of Excellence, Johns Hopkins University（约翰霍普金斯大学人类语言技术卓越中心） ； University of Amsterdam（阿姆斯特丹大学） ； Huazhong University of Science and Technology（华中科技大学）
专题命中 跨模态检索 ：multimodal(abstract,comments)；分类 cs.CV、cs.CL
AI总结 本文介绍MAGMaR 2026共享任务的结果，包括视频检索和基于检索视频的生成任务，所有提交系统均超越去年基线。
Comments Findings of the 2nd workshop on Multimodal Augmented Generation via Multimodal Retrieval (MAGMaR); Resources at this url: https://github.com/rekriz11/MAGMAR_2026
Sketch and Text Synergy: Fusing Structural Contours and Descriptive Attributes for Fine-Grained Image Retrieval
草图与文本协同：融合结构轮廓和描述属性用于细粒度图像检索
机构 * Xidian University First Aircraft Design Institute（西安电子科技大学第一飞机设计院）
专题命中 跨模态检索 ：cross-modal(abstract,comments)；分类 cs.CV、cs.AI
AI总结 本文提出STBIR框架，通过融合草图的结构轮廓与文本的色彩纹理信息，提升细粒度图像检索性能，采用课程学习、特征空间优化和多阶段跨模态对齐机制，实验验证其优于现有方法。
Comments Image Retrieval, Hand-drawn Sketch, Multi-stage Cross-modal Feature Alignment
MMSearch-R1: Incentivizing LMMs to Search
机构 * ByteDance（字节跳动） ； S-Lab, NTU（NTU的S实验室）
专题命中 跨模态检索 ：multimodal(abstract,comments)；分类 cs.CV、cs.CL
Comments Code: https://github.com/EvolvingLMMs-Lab/multimodal-search-r1
Video Enriched Retrieval Augmented Generation Using Aligned Video Captions
专题命中 跨模态检索 ：multimodal(abstract,comments)；分类 cs.CV、cs.AI
Comments SIGIR 2024 Workshop on Multimodal Representation and Retrieval (MRR 2024)
Dual-Stream Cross-Anchor Correction Grounding Long-Form Captions and the Domain Limits of Object-Level Anchors
双流跨锚校正：接地长文本描述与对象级锚点的域限制
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 针对多模态大语言模型的长文本描述对象幻觉问题，本文提出双流跨锚校正方法，通过耦合感知流与认知流提升精度，在长文本场景下实现最优性能，且存在域条件性限制。
Open Vocabulary Panoptic Segmentation With Retrieval Augmentation
开放词汇全景分割与检索增强
专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV、cs.CL
AI总结 本文提出RetCLIP方法，通过检索增强提升开放词汇全景分割的性能，实现对未见类别的有效分割。
Journal ref IEEE International Workshop on Machine Learning for Signal Processing (MLSP 2026)
Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models
无校正控制的基础：大语言模型的真值追踪剖面
机构 * Humber Polytechnic（亨伯理工学院） ； University of Toronto（多伦多大学）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 本文研究大语言模型中无校正控制的基础问题，提出路径剖面概念以分析真值追踪，指出纯文本模型继承的模式可提供衍生可应答性，不同方法对任务的真值追踪改进可能与表面改进不一致。
Comments 24 pages, 1 figure, 1 table. A six-page methodological supplement, reproducible R script, and constructed data are included as ancillary files
CMCNet: Aligning Ultrasound Image Embeddings with Textual TI-RADS Representations for Fine-Grained Thyroid Classification
CMCNet：将超声图像嵌入与文本TI-RADS表示对齐以用于细粒度甲状腺分类
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本研究构建含600个甲状腺结节的STN数据集，提出CMCNet模型，通过中心间隔对比损失对齐图像与文本嵌入，实现细粒度甲状腺分类，性能优于多类基线方法。
Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention
视觉与语言在哪里交汇？通过对比注意力理解并优化MLLMs中的视觉融合
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 通过对比注意力框架，研究揭示了MLLMs中视觉-文本融合的层次演变，并改进了多模态推理性能。
Comments CVPR Accepted
Mr3D-VL: A generalist vision language foundation model for Multiparametric 3D Magnetic Resonance Imaging
Mr3D-VL：面向多参数3D磁共振成像的通用视觉语言基础模型
专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文针对现有3D视觉语言模型无法满足多参数3D MRI跨模态协同推理需求的问题，提出Mr3D-VL模型，通过特定设计实现性能提升，在多项任务上优于同规模的领域及通用模型。
HC-RAG: Evidence-Centric Retrieval-Augmented Generation over Heterogeneous Financial Filings
HC-RAG：面向异构金融文件的以证据为中心的检索增强生成
机构 * Sun Yat-sen University（中山大学） ； Central South University（中南大学）
专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CL、cs.MM
AI总结 HC-RAG是面向异构金融文件的以证据为中心的分层跨模态RAG框架，通过构建类型化金融证据图、按意图路由证据，在金融问答基准上较RAPTOR、GraphRAG取得显著性能提升。
Comments 16 pages, 5 figures
Rethinking Text-Based Image Retrieval in Specific Domain
重新思考特定领域的基于文本的图像检索
专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV、cs.AI
AI总结 针对现有TBIR基准的单匹配假设无法适配监控等特定领域的问题，构建了SecMM-TBIR基准，提出SAFT框架解决特定领域TBIR的语义压缩问题，在SecMM-TBIR上平均提升mAP@20达7.8点且优化通用领域性能。
Comments 13 pages
Artificial Intelligence for the Characterization of Particles and Fibers by Optical Microscopy
用于光学显微镜下颗粒与纤维表征的人工智能方法
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出一种带语义锚点的AI蒸馏框架，训练仅视觉输入的学生ViT模型，在颗粒与纤维显微镜表征任务中获80%伪类验证准确率等结果，实现更丰富可解释的表征，适用于相关分析场景。
Logographic Character Visual Pretraining via Semantic-based Contrastive Learning
基于语义对比学习的表意文字视觉预训练
机构 * Queen Mary University of London（伦敦玛丽女王大学） ； Jilin University（吉林大学） ； King’s College London（伦敦国王学院） ； University College London（伦敦大学学院）
专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 针对表意文字数据集不平衡问题，提出结合视觉与上下文语义的多模态学习方法，通过语义对比预训练提升字符识别性能，在多数据集及下游任务上优于现有最优方法。
Comments ACM MM 2026 paper
Zero-Fi: Zero-Shot Wi-Fi-Based Human Activity Recognition via Contrastive Signal-Language Alignment
Zero-Fi：基于对比信号-语言对齐的零样本Wi-Fi人体活动识别
专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 Zero-Fi是一种对比信号-语言对齐框架，可在无需新活动类标注Wi-Fi样本或模型适配的情况下，实现基于Wi-Fi的零样本人体活动识别，在大规模公开基准数据集上验证了有效性。
VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents
VLD-RAG：用于长的、视觉丰富的多页文档的智能视觉语言检索增强生成
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 研究针对视觉丰富的长文档问答的多模态检索增强生成，提出VLD-RAG框架，构建多模态索引并采用混合检索策略，经智能体工作流程协调，在相关基准上提升了证据页面检索及问答表现，凸显协调验证与混合检索的重要性。
Emotion Collider: Dual Hyperbolic Mirror Manifolds for Sentiment Recovery via Anti Emotion Reflection
情感碰撞：双双曲镜面流形用于通过反情感反射进行情感恢复
机构 * University of Macau（澳门大学） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Tongji University（同济大学） ； University of Southampton（南安普顿大学） ； University of Bologna（博洛尼亚大学） ； Minzu University of China（中央民族大学）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.MM
AI总结 本文提出Emotion Collider网络，利用双双曲镜面流形实现多模态情感和情绪建模，通过双曲空间对比学习提升类别分离，并在标准多模态情感基准上验证了其鲁棒性和准确性。
Comments 25 pages, 14 figures
Humanity's Last Exam
人类最后的考试
专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI
AI总结 人类最后的考试（HLE）是一个多模态基准测试，旨在通过广泛覆盖的学科问题评估LLM在封闭式学术问题上的能力，揭示当前LLM与人类专家之间的差距。
Comments 29 pages, 6 figures
Now You See the Hate: Adaptive View Retrieval for Hidden Hateful Illusions
现在你看到了仇恨：用于隐藏仇恨幻觉的自适应视图检索
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对仇恨性视觉错觉检测难题，提出自适应视图检索方法，将其公式化为感知检索问题，通过检索并校准框架组装视图库，该方法在多方面超越基线和其他方法，表明多模态审核需先恢复隐藏含义再判断是否有害。
A Survey on Knowledge-Oriented Retrieval-Augmented Generation
面向知识的检索增强生成综述
机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 该综述对检索增强生成进行全面概述，涵盖其基本组件、关键特性、分类法、评估基准及应用等，讨论了相关挑战与新兴研究方向，强调其在自然语言处理中应对现实挑战及推动发展的潜力。
Comments Accepted by ACM Transactions on Information Systems (TOIS)
Global and Local Contrastive Learning for Joint Representations from Cardiac MRI and ECG
用于心脏MRI和ECG联合表示的全局和局部对比学习
机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital, Munich, Germany（人工智能在医疗与医学中的研究中心，技术大学慕尼黑（TUM）及慕尼黑技术大学医院） ； School of Medicine, Klinikum rechts der Isar, TUM, Germany（医学院，右岸克里克医院，TUM，德国） ； Department of Computing, Imperial College London, UK（计算学院，伦敦帝国学院，英国） ； Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML），慕尼黑，德国）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 PTACL通过结合心脏MRI的时空信息提升ECG表示，实现患者级和时间级对比学习，提高心脏表型检索和功能参数预测的性能。
Comments accepted to MICCAI 2025 (Springer LNCS)
Journal ref Medical Image Computing and Computer Assisted Intervention - MICCAI 2025, Lecture Notes in Computer Science, vol. 15960, pp. 217-227, Springer, Cham (2026)
What Images Cannot Say: Language-Guided Olfactory Representation Learning
图像无法表达的：语言引导的嗅觉表征学习
机构 * LIX, École Polytechnique, IP Paris, CNRS（LIX，巴黎高等理工学院，IP巴黎，CNRS）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究图像与嗅觉对齐难题，提出SCENT多模态框架，利用视觉语言模型生成场景描述符，训练气味编码器，通过语言引导潜在分解分离特定对象气味与环境贡献，提升跨模态检索性能，产生可解释表征。
Comments ECCV 2026. Project page: https://www.lix.polytechnique.fr/vista/projects/2026_scent_tsonis/
Hierarchical Evidence-Driven Reasoning for Long Document Understanding
用于长文档理解的分层证据驱动推理
机构 * University of Science and Technology of China（中国科学技术大学） ； iFLYTEK Research（科大讯飞研究院）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对现有多模态RAG管道面临的问题，提出分层证据驱动的多模态RAG框架HIEVI-RAG，通过四阶段管道，包括分层问题分解、粗视觉页面检索、细粒度页面验证和内存引导迭代生成，提升长文档理解，效果显著优于现有基线。
Scalable Semantic Steering of Embedding Projections
嵌入投影的可扩展语义引导
机构 * Virginia Tech（弗吉尼亚理工学院） ； Department of Defense（国防部） ； Tulane University（路易斯安那州立大学）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究高维数据嵌入的低维投影语义结构问题，提出可扩展语义引导方法，将语义计算从单个项目转移到用户定义组，通过单LLM调用为组生成结构化配置文件，减少LLM调用并在多模态嵌入中有效应用。
Comments Accepted as a short paper at IEEE VIS 2026. 5 pages, 2 figures
ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models
ALM2Vec: 利用大型音频语言模型学习通用音频检索的音频嵌入
机构 * Zhejiang University（浙江大学） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI、eess.AS
AI总结 提出ALM2Vec框架，利用预训练大型音频语言模型学习统一嵌入空间，实现跨域、任务感知的音频检索，支持指令感知检索，在标准基准上表现优异。
Comments 7 pages, 3 figures
Mitigating Batch Effects in Histopathology via Language-Mediated Robust Embedding Generation
通过语言介导的鲁棒嵌入生成减轻组织病理学中的批次效应
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 提出GLMP框架，利用通用多模态大语言模型将组织学图像转化为文本表示，再生成数值嵌入，有效抑制批次效应，提升跨机构泛化能力。
CytoCLIP: Learning Cytoarchitectural Characteristics in Developing Human Brain Using Contrastive Language Image Pre-Training
CytoCLIP：利用对比语言图像预训练学习发育人类大脑的细胞架构特征
专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 CytoCLIP通过对比语言图像预训练框架学习人类大脑细胞架构特征，通过低分辨率和高分辨率模型变体实现区域分类和跨模态检索，实验表明其在整体区域和高分辨率图像分类中表现优异。
Journal ref Neuroinformatics, Volume 24, article number 38 (2026)
Hippocampus-DETR: An Explicit Memory Object Detection Framework Based on Hippocampus Modeling
Hippocampus-DETR: 基于海马体建模的显式记忆目标检测框架
机构 * Beijing institute of Technology（北京理工大学）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对目标检测模型缺乏显式记忆机制的问题，提出Hippocampus-DETR框架，通过模拟海马体亚区结构实现模式分离与补全，提升检测精度及泛化能力。
From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations
从点击到意图：基于LLM提炼分类法的跨平台会话嵌入用于金融服务推荐
机构 * Capital One
专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI
AI总结 针对金融服务中网页匿名浏览与移动端登录行为差异导致的意图信号利用不足问题，提出自监督Transformer编码会话嵌入与LLM提炼分类法生成可解释标签的双用途框架，在移动端首页排序和用户转化预测任务上显著提升性能。
Comments Dianjing Fan and Yao Li equally contributed to this work. 7 pages, 1 figure
