多模态信息融合

LLM-Enhanced Multimodal Fusion for Cross-Domain Sequential Recommendation

基于大语言模型的跨域序列推荐多模态融合

Wangyu Wu, Zhenhong Chen, Wenqiao Zhang, Xianglin Qiu, Siqi Song, Xiaowei Huang, Fei Ma, Jimin Xiao

机构 * Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； University of Liverpool（利物浦大学） ； Microsoft（微软公司） ； Zhejiang University（浙江大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title,abstract)；分类 cs.CV

AI总结 本文提出LLM-EMF方法，通过融合视觉和文本数据提升跨域序列推荐性能，利用CLIP模型生成多模态嵌入并引入多重注意力机制，实验证明其在多领域推荐中的有效性。

Comments arXiv admin note: substantial text overlap with arXiv:2504.15085

HiDrop: Hierarchical Vision Token Reduction in MLLMs via Late Injection, Concave Pyramid Pruning, and Early Exit

HiDrop：通过晚期注入、凹形金字塔剪枝和早期退出实现MLLM中的层次视觉令牌减少

Hao Wu, Yingqi Fan, Jinyang Dai, Junlong Tong, Yunpu Ma, Xiaoyu Shen

机构 * Institute of Digital Twin, Eastern Institute of Technology（数字孪生研究所，东部技术研究所） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Munich Center for Machine Learning, LMU Munich（慕尼黑大学机器学习中心，慕尼黑大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 HiDrop通过晚期注入、凹形金字塔剪枝和早期退出机制，实现多模态大语言模型中视觉令牌的高效减少，提升训练效率并保持性能。

Comments Accepted to ICLR 2026

When Does Multimodal Learning Help in Healthcare? A Benchmark on EHR and Chest X-Ray Fusion

多模态学习在医疗领域何时有助于提升性能？基于电子健康记录与胸部X光融合的基准测试

Kejing Yin, Haizhou Xu, Wenfang Yao, Chen Liu, Zijie Chen, Yui Haang Cheung, William K. Cheung, Jing Qin

机构 * Department of Computer Science（计算机科学系） ； Hong Kong Baptist University（香港 Baptist 大学） ； Division of Artificial Intelligence（人工智能 division） ； Lingnan University（Lingnan 大学） ； School of Nursing（护理学院） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本文通过基准测试评估了电子健康记录与胸部X光融合在医疗中的有效性，揭示了多模态学习在不同模态缺失情况下的性能差异及公平性问题。

When Should a Model Change Its Mind? An Energy-Based Theory and Regularizer for Concept Drift in Electrocardiogram (ECG) Signals

模型何时应改变观点？一种基于能量的理论和正则化器用于心电图（ECG）信号中的概念漂移

Timothy Oladunni, Blessing Ojeme, Kyndal Maclin, Clyde Baidoo

机构 * Department of Computer Science, Morgan State University（计算机科学系，莫根州立大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本研究提出Physiologic Energy Conservation Theory (PECT)和Energy-Constrained Representation Learning (ECRL)，用于在ECG信号中稳定概念，通过能量守恒原理减少误判和漂移。

Multimodal-enhanced Federated Recommendation: A Group-wise Fusion Approach

多模态增强的联邦推荐：一种组级融合方法

Chunxu Zhang, Weipeng Zhang, Guodong Long, Zhiheng Xue, Riting Xia, Bo Yang

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本文提出了一种多模态增强的联邦推荐方法，通过组级融合机制提升推荐系统在多模态特征整合方面的性能。

Comments Accepted at WWW 2026