多模态大模型

Rank-Aware Hyperbolic Alignment for Vision-Language Dataset Distillation

秩感知双曲对齐用于视觉-语言数据集蒸馏

Jongoh Jeong, Sun-Kyung Lee, Kuk-Jin Yoon

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出RAHA方法，利用双曲几何和显式对齐容量控制，通过非对称目标优化蒸馏对，在共享范围强制测地线对齐并正则化残差子空间，提升跨模态检索和迁移鲁棒性。

Comments Accepted for publication at ECCV 2026. Project Page: https://andyj1.github.io/raha

SARLO-80: Worldwide Slant SAR Language Optic Dataset 80cm

SARLO-80：全球斜距SAR语言光学数据集80cm

Solène Debuysère, Nicolas Trouvé, Nathan Letheule, Elise Colin, Georgia Channing

机构 * DEMR-ONERA – The French Aerospace Lab, Université Paris-Saclay（法国航空航天实验室DEMR-ONERA，巴黎-萨克雷大学） ； DTIS-ONERA – The French Aerospace Lab, Université Paris-Saclay（法国航空航天实验室DTIS-ONERA，巴黎-萨克雷大学） ； Hugging Face 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 为解决高分辨率SAR与光学图像及文本对齐的数据稀缺问题，基于Umbra SLC数据构建了80cm斜距网格的SAR-光学-文本三元组数据集，支持跨模态检索与生成任务。

From Attribution to Abstention: Training-Free Attention-Based Auditing for Clinical Summarization

从归因到回避：基于注意力的无训练审计用于临床摘要

Qianqi Yan, Huy Nguyen, Sumana Srivatsa, Hari Bandi, Xin Eric Wang, Krishnaram Kenthapadi

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； Oracle Health AI 纠错

专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ClinTrace框架，通过解码器注意力权重提取临床有用信号，实现无训练的注意力基于审计，提升临床摘要的透明性和可靠性，显著优于基线方法。

Efficient and High-Fidelity Omni Modality Retrieval

高效且高保真的多模态检索

Chuong Huynh, Manh Luong, Abhinav Shrivastava

机构 * University of Maryland, College Park, USA（美国马里兰大学 College Park 分校） ； Monash University（墨尔本大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；audio-visual(abstract)；omni-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出OmniRet模型，解决多模态检索中的计算效率与表示保真度问题，通过注意力机制和改进的池化方法提升三模态（文本、视觉、音频）检索性能，并引入新的音频中心多模态基准测试。

Comments CVPR 2026. Project page: https://hmchuong.github.io/omniret

Towards Spatial Transcriptomics-driven Pathology Foundation Models

迈向基于空间转录组的病理基础模型

Konstantin Hemker, Andrew H. Song, Cristina Almagro-Pérez, Guillaume Jaume, Sophia J. Wagner, Anurag Vaidya, Nikola Simidjievski, Mateja Jamnik, Faisal Mahmood

机构 * Department of Pathology, Mass General Brigham, Harvard Medical School, Boston, MA, USA（病理学系，马萨诸塞州总医院与哈佛医学院，波士顿，马萨诸塞州，美国） ； Department of Computer Science & Technology, University of Cambridge, Cambridge, UK（计算机科学与技术系，剑桥大学，剑桥，英国） ； Cancer Program, Broad Institute of Harvard and MIT, Cambridge, MA, USA（癌症计划，哈佛与麻省理工联合学院，剑桥，马萨诸塞州，美国） ； Data Science Program, Dana-Farber Cancer Institute, Boston, MA, USA（数据科学计划，达纳-法伯癌症研究所，波士顿，马萨诸塞州，美国） ； Harvard-MIT Division of Health Sciences and Technology, Massachusetts Institute of Technology, Cambridge, MA, USA（哈佛-麻省理工健康科学与技术 division，麻省理工学院，剑桥，马萨诸塞州，美国） ； Télécom Paris, Institut Polytechnique de Paris, Paris, France（巴黎电信学院，巴黎理工学院，巴黎，法国） ； Harvard Data Science Initiative, Harvard University, Cambridge, MA, USA（哈佛大学数据科学倡议，哈佛大学，剑桥，马萨诸塞州，美国） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 SEAL通过整合局部分子信息提升病理基础模型性能，实现跨模态应用与领域泛化。

Mr.Dec: Daily-Scale Longitudinal Multimodal Modeling for 30-Day Readmission Prediction

Mr.Dec：用于30天再入院预测的日尺度纵向多模态建模

Minjun Kim, Jong Hak Moon

机构 * Yeji X 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本研究提出Mr.Dec模型，通过Transformer解码器整合每日EHR与CXR数据，结合疾病特异性监督对比学习，在MIMIC-IV等数据集上实现30天再入院预测的SOTA性能，还可识别住院关键天数提供临床解释。

Comments MICCAI 2026 MultiTab Workshop Oral

WiFo-MiSAC: A Wireless Foundation Model for Multimodal Sensing and Communication Integration via Synesthesia of Machines (SoM)

WiFo-MiSAC：一种无线基础模型，通过机器的通感（SoM）实现多模态感知与通信的整合

Xuanyu Liu, Shijian Gao, Boxun Liu, Xiang Cheng, Liuqing Yang

专题命中 跨模态检索 ：multimodal(title)；cross-modal(abstract)

AI总结 WiFo-MiSAC通过统一空间的自监督预训练，解决通信与传感数据碎片化处理导致的泛化问题，采用共享-特定解耦的混合专家架构，实现多模态交互，实验表明其在多任务中表现优异，具备强大的少样本适应与新模态集成能力。

Sequential Multimodal Evidence Optimization for Product Media Ranking in E-Commerce

电商中产品媒体排序的序列多模态证据优化

Prasenjit Dey, Frank McIntyre, Arnab Sinha

机构 * Amazon.com Inc.（亚马逊公司） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 针对电商产品媒体排序问题，本文提出SMEO框架，通过轨迹效用模型和生存加权自回归策略优化，提升转化率并减少消费者划动次数。

Comments Proceedings of the 35th ACM International Conference on Information and Knowledge Management (CIKM 2026), Rome, Italy

Adjustable Text-Guided Backdoor Attacks with Natural-Word Triggers on Multimodal Pretrained Models

隐蔽且可调节的文本引导后门攻击多模态预训练模型

Yiyang Zhang, Chaojian Yu, Ziming Hong, Yuanjie Shao, Qinmu Peng, Tongliang Liu, Xinge You

机构 * National Anti-Counterfeit Engineering Research Center, Huazhong University of Science and Technology（华中科技大学国家防伪工程技术研究中心） ； School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院） ； Sydney AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出一种基于文本的后门攻击方法，利用常见文本词汇作为触发器，提升攻击隐蔽性和实用性，并通过视觉对抗扰动调节模型对文本触发器的学习，实现可控的攻击效果。

FiGuRO: Intrinsic Dimension Estimation for Multi-Modal Data

FiGuRO：面向多模态数据的本征维度估计

Viktoria Schuster, Sana Tonekaboni, Caroline Uhler

专题命中 跨模态检索 ：multi-modal(title,abstract)

AI总结 本研究提出FiGuRO框架，用于在模型容量与超参数约束下估计单/多模态数据的本征维度，可实现共享与私有信息解耦，性能优于现有技术且可应用于单模态预训练模型。

DocMemo: Dynamic Evidence Discovery via Probabilistic Memory-Guided Retrieval for Multi-Modal Document Understanding

DocMemo：面向多模态文档理解的概率记忆引导检索动态证据发现框架

Hanshu Yao, Janfeng Zhong, Niu Lian, Jinpeng Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 跨模态检索 ：multi-modal(title)；分类 cs.CL、cs.AI、cs.MM

AI总结 针对长文档理解的静态检索与跨轮记忆局限，提出记忆引导框架DocMemo，通过三层记忆与多轮优化实现动态证据发现，在3个基准上取得SOTA性能。

Comments DocMemo is a memory-guided framework for long-document reasoning that uses tri-level memory and dynamic Bayesian belief updating to overcome static retrieval limits and improve evidence tracking. 16 pages, 4 figures, 14 tables

Is Personalized Modality Weighting Actually Personalized? A Controlled Audit of Per-User Weighting Claims in Multimodal Recommenders

个性化模态加权真的是个性化的吗？多模态推荐器中每用户加权声明的受控审计

Jingyuan Zheng, Xin Zhang, Yang Gu, Dongjing Wang, Yuxiang Wang, Xudong Shen, Haiping Zhang, Youhuizi Li, Dongjin Yu

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 该研究审计多模态推荐器的每用户模态加权是否真正个性化，发现单一全局模态权重已提供几乎全部内容增益，每用户加权无一致效用，建议将real-GM与real-shuf作为个性化声明的最低证据标准。

Bridging Source Code and Bytecode for Smart Contract Vulnerability Detection via Dual-Perspective Cross-Modal Distillation

ExDoS：专家引导的双焦点跨模态蒸馏用于智能合约漏洞检测

Ye Tian, Yifan Jia, Yanbin Wang, Jianguo Sun, Haitao Xu, Xin Wang, Zhihua Fu

专题命中 跨模态检索 ：cross-modal(title,abstract)

AI总结 本文提出ExDoS方法，通过双焦点蒸馏框架，从源代码到字节码转移语义知识，提升智能合约漏洞检测的细粒度对齐与识别能力。

Comments This work has been submitted to the IEEE for possible publication

Bayesian Data Reweighting Improves Multimodal Retrieval for Knowledge-Based Visual Question Answering

贝叶斯数据重加权改进基于知识的视觉问答的多模态检索

Jingchen Sun, Shaobo Han, Ruiyi Zhang, Naresh Kumar Devulapally, Ming Liu, Yitao Long, Vishnu Suresh Lokhande, Changyou Chen

机构 * University at Buffalo（布法罗大学） ； NEC Laboratories America（美国 NEC 实验室） ； Adobe Research（奥多比研究院） ； Iowa State University（爱荷华州立大学） ； New York University（纽约大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 针对基于知识的视觉问答中多模态检索的负样本处理问题，提出贝叶斯数据重加权框架，通过概率建模与随机EM优化，在三个检索器和七个基准上提升了检索准确率。

Multimodal Embeddings for 3D Similarity Search in Semantic Web-of-Things Digital-Twin Platforms

面向语义物联网数字孪生平台中三维相似度搜索的多模态嵌入

Oussama Zaid, Romaric Gaudel, Hassan Thomas, Maria Massri, Philippe Raipin-Parv{é}dy

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文针对语义物联网数字孪生平台缺乏三维相似度搜索能力的问题，提出多模态嵌入框架，在Thing'in平台实现后经S3DIS验证，可支持混合本体-向量查询，满足相关领域的三维相似度搜索需求。

Journal ref 4th International Workshop on the Semantic WEb of EveryThing (SWEET 2026), co-located with ICWE 2026, Jun 2026, Lyon, France

Learning Sparse Representations of Multimodal Content for Enhanced Cold Item Recommendation

学习多模态内容的稀疏表示以增强冷启动项目推荐

Gregor Meehan, Johan Pauwels

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 针对数字平台项目目录规模大及冷启动问题，提出利用稀疏嵌入优势，通过改进冷启动训练方法和设计预稀疏化激活技术，降低存储成本并提升冷启动推荐准确性，还展示了稀疏内容嵌入的可解释性与稳健性。

Comments Accepted at RecSys 2026

FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

FinAbstain：用于选择性金融预测的不确定性校准多模态检索增强生成模型

Dorothy Torres, Wei Cheng, Henan Huang

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究针对大语言模型在金融预测中证据不足时高置信度的问题，提出FinAbstain框架，通过多模态检索增强生成及选择性预测，经多种不确定性评估方法和指标评估，贡献了时间安全架构、复合不确定性公式和可重复评估蓝图。

Multimodal CoLRAG-TF: Triple-Filtered Retrieval for Complex PDFs

多模态CoLRAG-TF：复杂PDF的三重过滤检索

Takato Yasuno

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究针对异构PDF集合检索增强生成的挑战，提出多模态CoLRAG-TF四轴融合架构，集成多种技术。构建多模态索引，经贝叶斯优化确定融合权重。实验显示其检索召回率高，多跳答案相似性提升显著，还适用于视觉输入，提供通用框架。

Comments 18 pages, 8 tables, 9 figures

A Multimodal Approach to Star--Galaxy Separation using SPHEREx Spectrophotometry and DESI Legacy Survey Imaging

一种使用SPHEREx分光光度法和DESI遗产调查成像的恒星-星系分离多模态方法

Kendrick Nguyen, Richard M. Feder, Sean Bruton, Uroš Seljak

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究利用多模态模型，结合光学宽带成像与SPHEREx近红外分光光度法，通过对比学习分离恒星和星系。经实验，变换表示训练的分类器效果更好，能将恒星污染控制在百分之一以下，凸显多模态方法对现代星系调查的实用价值。

Comments 22 pages, 14 figures

PolySim: Deterministic Polynomial Surrogates for Cross-Modal Retrieval on CiM

PolySim：用于CiM上跨模态检索的确定性多项式代理

Xinzhao Li, Charles Power, Pengyu Ren, Jongun Won, Likai Pei, Yuting Hu, Jinjun Xiong, Alptekin Vardar, Ningyuan Cao, Xiaobo Sharon Hu, Thomas Kämpfe, Kai Ni, Ruiyang Qin

专题命中 跨模态检索 ：cross-modal(title,abstract)

AI总结 研究边缘设备跨模态检索在CiM硬件部署问题，提出PolySim框架，将概率检索转为确定性管道，用低阶多项式基近似高斯嵌入维度，经实验其提升R@1，减少推理计算，是首个在CiM硬件实现概率跨模态检索的方法。

Comments Accepted by ICCAD 2026

Multimodal Semantic-Aware Contrastive Learning For False Negative Mitigation in 3D Medical Imaging

用于减轻 3D 医学成像中假阴性的多模态语义感知对比学习

Sara Ketabi, Matthias W. Wagner, Cynthia Hawkins, Uri Tabori, Birgit Betina Ertl-Wagner, Farzad Khalvati

机构 * University of Toronto（多伦多大学） ； The Hospital for Sick Children（病童医院） ； Vector Institute（向量研究所） ； University Hospital Augsburg（奥格斯堡大学医院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究针对3D医学成像中假阴性问题，提出多模态语义感知对比学习框架MseaCL，通过纳入放射学报告语义相似性作指导信号，经实验验证该框架用于预训练可提升下游任务表现，如儿科脑肿瘤分子分类AUC至少增22.6%。

Stream-aware Side Adaptation for Large Pre-trained Multimodal Embedding Models in Sequential Recommendation

用于序列推荐中大型预训练多模态嵌入模型的流感知侧适应

Junchen Fu, Kaiwen Zheng, Ioannis Arapakis, Wenhao Deng, Xin Xin, Joemon M. Jose, Xuri Ge

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 针对大型预训练多模态嵌入模型用于序列推荐时因域不对准性能不佳的问题，提出Stresa框架，通过流感知隐藏适配器融合和残差流适配器，有效解锁模型潜力，实验证明其性能优于标准侧适配器和基线。

Comments Accepted by ACM MM2026

Contrastive Learning on Multimodal Analysis of Electronic Health Records

电子健康记录多模态分析中的对比学习

Tianxi Cai, Feiqing Huang, Ryumei Nakada, Linjun Zhang, Doudou Zhou

机构 * Harvard T.H. Chan School of Public Health（哈佛T.H. 柏林公共卫生学院） ； Harvard Medical School（哈佛医学院） ； Rutgers University（罗格斯大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究针对电子健康记录多模态数据传统分析方法不足，提出多模态特征嵌入生成模型及对比损失来学习特征表示，经理论分析、模拟研究和真实数据验证，该方法有效且具隐私保护特性，展现了多模态学习优势。

How YouTube Frames ChatGPT Use in Education: An Epistemic Network Analysis with Supporting Multimodal Metadata

YouTube如何构建教育领域中ChatGPT的使用：基于支持多模态元数据的认知网络分析

Shayla Sharmin, Mohammad Al-Ratrout, Mohammad Fahim Abrar, Roghayeh Leila Barmaki

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究通过多模态元数据分析教育类YouTube视频中ChatGPT的使用，识别出三个话语组，发现不同组在构建方式、观众反应和平台影响力上有差异，揭示了自主AI学习中优先快速输出与促进深度参与内容的差距及相关问题。

Comments This paper has been accepted in ICMI 2026 and will be presented in October

Journal ref In Proceedings of the 28th ACM International Conference on Multimodal Interaction (ICMI '26), Napoli, Italy, October 2026

MatBind: A Shared Embedding Space for Multimodal Materials Characterization

MatBind：用于多模态材料表征的共享嵌入空间

Le Yang, Anoop K. Chandran, Jona Östreicher, Evgenii Sovetkin, Adrian Mirza, Sebastien Bompas, Bashir Kazimi, Pascal Friederich, Stefan Kesselheim, Kevin Maik Jablonka, Stefan Sandfeld

专题命中 跨模态检索 ：multimodal(title)；cross-modal(abstract)

AI总结 研究旨在整合异构材料数据以全面表征晶体材料。提出MatBind对比学习框架，以晶体结构为锚点将四种模态对齐到统一空间，实现零样本跨模态检索，且学习空间能依物理属性组织材料，组合模态可提升检索性能。

Comments 24 pages, 12 figures, submitted to npj computational material

KinEMbed: Decoding Kinematics from Electromyography via Cross-Modal Contrastive Learning

KinEMbed：通过跨模态对比学习从肌电图中解码运动学

Sofia Gilardini, Chenfei Ma, Kianoush Nazarpour

机构 * Department of Statistics, University of Oxford（牛津大学统计学系） ； School of Informatics, University of Edinburgh（爱丁堡大学信息学院） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)

AI总结 研究从表面肌电图解码手部运动学这一挑战，提出跨模态对比学习框架KinEMbed训练双编码器，用于手部运动学回归，在NinaPro DB8数据集上优于基线方法。

Comments ICML 2026 Workshop on Structured Data for Health, Seoul, South Korea

URecJPQ: Memory-efficient Multimodal Recommendation Models through RecJPQ in Large-Scale Scenarios

URecJPQ：大规模场景下通过RecJPQ实现内存高效的多模态推荐模型

Giuseppe Spillo, Zixuan Yi, Aleksandr Petrov, Cataldo Musto, Craig Macdonald, Iadh Ounis

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 提出URecJPQ方法，通过联合乘积量化将用户/物品表示为共享子嵌入的拼接，显著减少参数量和内存占用，在大规模多模态推荐中实现86%-98%的模型压缩，仅轻微损失精度。

Multi-Modal Contrastive Learning for Implicit Earth Embeddings via Location Tying

多模态对比学习用于基于位置绑定的隐式地球嵌入

Jonathan Hecht, Lukas Arzoumanidis, Ziyue Li, Youness Dehbi

机构 * Computational Methods Lab, HafenCity University Hamburg（汉堡港城大学计算方法实验室） ； Dept. of Operations & Technology, Technical University of Munich（慕尼黑工业大学运营与技术系；海尔布隆数据科学中心；慕尼黑数据科学研究所） ； Heilbronn Data Science Center（波恩大学大地测量与地理信息研究所） ； Munich Data Science Institute ； Institute of Geodesy and Geoinformation, University of Bonn 纠错

专题命中 跨模态检索 ：multi-modal(title)；multimodal(abstract)

AI总结 提出两种多模态对比学习架构MELT和SALT，通过位置绑定整合未配对地理数据，在四个下游任务中匹配最强双模态基线SATCLIP，但增加模态数未持续提升性能，表明位置编码器是主要瓶颈。

Intelligent Multimodal Retrieval and Reasoning for Geospatial Knowledge Discovery on the I-GUIDE Platform

面向I-GUIDE平台地理空间知识发现的智能多模态检索与推理

Yunfan Kang, Erick Li, Furqan Baig, Wei Hu, Alexander Michels, Anand Padmanabhan, Shaowen Wang

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 提出I-GUIDE Smart Search系统，结合多模态索引与知识图谱的迭代RAG管道，实现地理空间异构数据的语义检索、图谱溯源和对话合成，在单A100部署下支持约100并发用户，提升检索覆盖与答案质量。

Multimodal Training to Unimodal Deployment: Leveraging Unstructured Data During Training to Optimize Structured Data Only Deployment

多模态训练到单模态部署：利用训练中的无结构数据优化仅结构化数据的部署

Zigui Wang, Minghui Sun, Jiang Shu, Matthew M. Engelhard, Lauren Franz, Benjamin A. Goldstein

机构 * Department of Biostatistics and Bioinformatics, Duke University School of Medicine（生物统计学与生物信息学系，杜克大学医学中心） ； Department of Pediatrics, Duke University School of Medicine（儿科学系，杜克大学医学中心） ； Duke Center for Autism and Brain Development, Duke University School of Medicine（杜克大学自主与脑发展中心，杜克大学医学中心） ； Department of Psychiatry and Behavioral Sciences, Durham, NC, USA（精神病学与行为科学系，新伯尔尼，NC，美国） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出一种多模态学习框架，利用训练中的无结构EHR数据提升模型对结构化数据的识别能力，通过对比学习和知识蒸馏损失联合训练，实现仅结构化数据部署的高效分类模型。

Comments 10 pages,3 figures

Journal ref Proceedings of the AMIA 2026 Annual Symposium, American Medical Informatics Association (AMIA), 2026