多模态大模型

Enhancing Protein-Protein Interaction Prediction with Hierarchical Motif-based Multimodal Protein Embedding

基于层次化基序的多模态蛋白质嵌入增强蛋白质-蛋白质相互作用预测

Zaifei Yang, Samuel Ping-Man Choi, James Kwok

机构 * National University of Singapore（新加坡国立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 提出MMM-PPI模型，通过层次化基序的多模态编码（微观、中观、宏观三尺度）整合序列、结构和功能信息，提升蛋白质-蛋白质相互作用预测性能。

IDO: Incongruity-aware Distribution Optimization for Multimodal Fake News Detection

IDO: 面向多模态假新闻检测的不一致性感知分布优化

Hengyang Zhou, Rongman Hong, Yuxuan Zhou, Jing Wang, Zhaoyan Pan

机构 * Nanjing University（南京大学） ； University of Birmingham（伯明翰大学） ； East China Normal University（华东师范大学） ； Zhejiang University（浙江大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出不一致性感知分布优化（IDO）方法，通过事实不一致性和模态不一致性建模，提升多模态假新闻检测性能。

Comments Accept by GlobalSouthML@ICML 2026

CL-DMDF:Dynamic Multimodal Data Fusion Model Based on Contrastive Learning

CL-DMDF：基于对比学习的动态多模态数据融合模型

Dong Li, Lingling Zhang, Binghao Han, Linlin Ding, Yue Kou

机构 * Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态数据融合中模态缺失和局部交互忽视全局互补线索的问题，提出基于对比学习的动态多模态数据融合模型（CL-DMDF），通过跨特征和模态维度的注意力机制、实体质心对比学习模块和自适应融合模块，提升动态融合的效率和准确性。

Comments 9 pages, 5 figures, 7 tables

MemVerse: Multimodal Memory for Lifelong Learning Agents

MemVerse：面向终身学习智能体的多模态记忆

Junming Liu, Yifei Sun, Weihua Cheng, Haodong Lei, Yirong Chen, Licheng Wen, Xuemeng Yang, Daocheng Fu, Pinlong Cai, Nianchen Deng, Yi Yu, Shuyue Hu, Botian Shi, Ding Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出MemVerse，一种模型无关的即插即用记忆框架，通过分层检索记忆与参数化快速回忆结合，解决智能体在多模态交互中的灾难性遗忘和长程推理问题。

Comments 25 pages, 6 figures, 14 tables

CourseTimeQA: A Lecture-Video Benchmark and a Latency-Constrained Cross-Modal Fusion Method for Timestamped QA

CourseTimeQA: 一个讲座视频基准和一种用于时间戳问答的延迟约束跨模态融合方法

Vsevolod Kovalev, Parteek Kumar

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CL

AI总结 针对教育讲座视频中的时间戳问答任务，在单GPU延迟/内存预算下，提出了CourseTimeQA基准和一种轻量级延迟约束跨模态检索器CrossFusion-RAG，通过冻结编码器、浅层查询无关交叉注意力和时间一致性正则化，在nDCG@10和MRR上分别提升0.10和0.08，中位端到端延迟约1.55秒。

Comments This paper is being withdrawn because an error in our measurement procedure produced incorrect values in our reported retrieval results (Tables I, II, V, and VI, and the corresponding headline figures in the Abstract). Several of our empirical claims depend on these measurements and therefore do not hold as stated

Mixed-Modality Dual Face-Hair Retrieval

混合模态双人脸-发型检索

Quoc-Anh Bui-Huynh, Mai-Tuyen Lam, Dai-Anh-Tuan Nguyen, Thanh Duc Ngo

机构 * Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南） ； University of Information Technology, VNU-HCM, Ho Chi Minh City, Vietnam（信息技术大学，VNU-HCM，胡志明市，越南） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出混合模态双参考检索任务DFHR，通过解耦身份与发型特征并融合多模态嵌入，实现跨模态的身份感知与属性可控检索。

Cross-Modal Contrastive Learning of ECG and Angiography Representations for Severe Stenosis Classification

用于严重狭窄分类的心电图与血管造影表示的跨模态对比学习

Nikola Cenikj, Özgün Turgut, Alexander Müller, Alexander Steger, Jan Kehrer, Marcus Brugger, Daniel Rueckert, Philip Müller

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich and TUM University Hospital（人工智能在医疗与医学中的研究所，慕尼黑技术大学及慕尼黑大学医院） ； Department of Computing, Imperial College London（伦敦帝国理工学院计算机系） ； Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML）） ； Department of Internal Medicine, TUM University Hospital（慕尼黑大学医院内科学系） 纠错

专题命中 跨模态检索 ：cross-modal(title)；分类 cs.AI

AI总结 提出StenCE预训练框架，通过跨模态对比学习从心电图特征中实现冠状动脉狭窄风险分层，在严重狭窄分类中首次达到高性能。

ImageAuditor: Membership Inference Attack against Image-based Retrieval-Augmented Generation

ImageAuditor: 针对基于图像的检索增强生成系统的成员推理攻击

Jinghuai Zhang, Pengyue Yu, Zhexiao Lin, Kunlin Cai, Fnu Suya, Yuan Tian

专题命中 跨模态检索 ：cross-modal(abstract)

AI总结 提出首个针对基于图像的检索增强生成（IRAG）的成员推理攻击方法ImageAuditor，通过奖励引导策略优化解决跨模态检索和判别信号提取两大挑战，在仅需四次查询时AUROC超过80%。

Tokenizing Loops of Antibodies

抗体环的标记化

Ada Fang, Robert G. Alberstein, Simon Kelow, Frédéric A. Dreyer

机构 * Harvard University（哈佛大学） ； Prescient Design, Genentech（Prescient Design，基因泰克） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 提出Igloo多模态抗体环标记器，通过对比学习编码主链二面角和序列，高效检索相似环结构，提升H3环识别性能5.9%，并集成到蛋白质语言模型中改善抗体设计。

Comments 21 pages, 7 figures, 10 tables, code available at https://github.com/prescient-design/igloo