多模态信息融合

Hierarchical Pre-Training of Vision Encoders with Large Language Model

基于大语言模型的视觉编码器分层预训练

Eugene Lee, Ting-Yu Chang, Jui-Huang Tsai, Jiajie Diao, Chen-Yi Lee

机构 * University of Cincinnati（辛辛那提大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 通用Image Fusion ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出HIVE框架，通过引入视觉编码器与大语言模型间的分层交叉注意力机制，提升视觉语言对齐，改进特征融合与表征学习，实验表明其在图像分类和多模态任务中表现优异。

Comments 17 pages, 14 figures, accepted to Computer Vision and Pattern Recognition Conference (CVPR) Workshops 2026. 5th MMFM Workshop: What is Next in Multimodal Foundation Models?

Journal ref In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 7415-7424) 2026

Bridging Multimodal Fusion and Expert Routing via Spectral Reliability Descriptors for Robust Object Detection

复用融合时频谱可靠性用于RGB-红外目标检测的自适应融合与专家路由

Yefeng Wu

机构 * Tsinghua University（清华大学） 纠错

专题命中 红外-可见光融合 ：multimodal fusion(title)；分类 cs.CV

AI总结 提出一种无参数的7维频谱可靠性描述符，通过频谱可靠性融合和可靠性条件专家路由，提升RGB-红外目标检测在退化条件下的性能。

An Evidence Hierarchy for Bayesian Object Classification via OSINT-Aided Heterogeneous Sensor Fusion

基于OSINT辅助异质传感器融合的贝叶斯目标分类证据层级

Jan Nausner, Michael Hubner

机构 * Center for Digital Safety & Security, Austrian Institute of Technology GmbH (AIT)（数字安全与安全研究所，奥地利技术研究院（AIT）） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(title,abstract)；分类 cs.CV、cs.RO

AI总结 本文提出了一种基于OSINT辅助的异质传感器融合方法，通过建立新的证据层级模型，结合上下文信息和领域知识，提升对CBRNE威胁的分类准确率，实验结果表明该方法在抗干扰和先验不匹配方面具有优势，分类准确率高达95%。

Comments 6 pages, 1 figure; \c{opyright} 2026 IEEE. Accepted for the 2026 IEEE International Conference on Multisensor Fusion and Integration (MFI 2026)

Cross-Branch Conflict as a Shield: Safeguarding Facial Identities in Unified Multimodal Image Editing

跨分支冲突作为一种保护手段：在统一多模态图像编辑中保护面部身份

Weiwei Tan, Junxian Li, Rui Wang, Zhenhua Xu, Yanjun Zhang, Yu Leo Zhang

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 研究统一多模态模型中个人肖像编辑的安全问题，提出CCS统一对抗保护框架，通过联合驱动ViT和VAE表示及破坏跨分支兼容性，防止模型恢复身份信息，在抑制身份保留编辑上表现优于现有方法。

Comments 14 pages, preprint

ARMOR: A Robust Self-Supervised Framework for Root Cause Analysis in Microservices under Missing Modality

面向缺失数据的多模态融合用于统一微服务故障管理

Wenzhuo Qian, Hailiang Zhao, Ziqi Wang, Zhipeng Gao, Jiayi Chen, Zhiwei Ling, Shuiguang Deng

机构 * Zhejiang University（浙江大学） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(title)

AI总结 本文提出ARMOR框架，通过自监督学习解决微服务故障管理中多模态数据缺失问题，提升异常检测、故障分类和根本原因定位的性能。

Comments Accepted by the Proceedings of the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE '26), 2026. This is the authors' version of the work; the definitive Version of Record is forthcoming