多模态信息融合

Predictive Failure Detection in Network Hardware Using Thermal Imaging and Deep Learning with Sensor Fusion

基于热成像与传感器融合深度学习的网络硬件预测性故障检测

Ashly Joseph

专题命中 红外-可见光融合 ：sensor fusion(title,abstract)；multi-modal fusion(abstract)；分类 cs.CV

AI总结 该研究提出结合热成像与电源传感器数据的多模态深度学习模型，经ROI预处理后可实现网络硬件早期故障的高精度预测，为数据中心主动维护提供支撑。

Journal ref Proceedings of the 2025 3rd International Conference on Data Science and Network Security (ICDSNS), Tiptur, India, 25-26 July 2025, Institute of Electrical and Electronics Engineers (IEEE), pp. 1-6

IRPol-Fuse: Energy-structure coordination for infrared polarization fusion under low visibility

IRPol-Fuse：低能见度下红外偏振图像的能量-结构协同融合方法

Zhuangfan Huang, Chusheng Fang, Xiaosong Li, Yang Liua, Xiaoqi Cheng, Haishu Tan

机构 * Foshan University（佛山大学） 纠错

专题命中 红外-可见光融合 ：image fusion(abstract)；分类 cs.CV

AI总结 该研究针对低能见度下红外偏振图像融合的缺陷，提出IRPol-Fuse框架，构建LI-PI数据集，实验验证其在目标与细节保留及下游任务中的优异性能。

A Two-level Radial-velocity Zero-point Calibration for LAMOST MRS with Gaia and APOGEE and a Value-added RV Catalogue

基于Gaia和APOGEE的LAMOST MRS的两级视向速度零点校准及增值视向速度星表

Jinming Zhang, Haibo Yuan

专题命中 多聚焦/多曝光融合 ：multi-exposure(abstract)

AI总结 该研究针对LAMOST MRS的RV零点系统误差，提出两级校准方法并发布增值星表，使RV精度提升约2倍，支持跨多维度的一致视向速度分析。

Comments 18 pages, 12 figures. Catalogue available at https://doi.org/10.5281/zenodo.21467895 ; pipeline at https://github.com/CrotRest/lamost-mrs-rvzp. Accepted by ApJS

Deep Multimodal Wearable Sensor Fusion for Detection of Body-Focused Repetitive Behaviors

用于聚焦身体重复行为检测的深度多模态可穿戴传感器融合

Samaneh Rezaeimanesh, Mohsen Behradfar, Mohammad Fili, Guiping Hu

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(title,abstract)

AI总结 本研究开发多模态深度学习框架，利用腕戴式传感器数据检测聚焦身体的重复行为，在二元及九分类任务中均优于单模态基线，为可穿戴辅助心理健康诊断奠定基础。

Learning When to See and When to Feel: Adaptive Vision-Torque Fusion for Contact-Aware Manipulation

学习何时视觉何时触觉：适应性视觉-扭矩融合用于接触感知操控

Jiuzhou Lei, Chang Liu, Yu She, Xiao Liang, Minghui Zheng

机构 * Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院） ； Zachry Department of Civil and Environmental Engineering, Texas A&M University（德州农工大学扎克里土木与环境工程系） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.RO

AI总结 本文提出适应性视觉-扭矩融合策略，通过比较不同融合方法提升机器人操控性能，实验显示方法在成功率上优于基线14%。

CRUISE: Vision-Language Model-Guided Uncertainty-Aware Cross-Modal Sensor Fusion for Robust Autonomous Driving

CRUISE：面向鲁棒自动驾驶的视觉语言模型引导的不确定性感知跨模态传感器融合

Junyao Wang, Yulin Xu, Yu Li, Pramod Khargonekar, Mohammad Abdullah Al Faruque

机构 * University of California, Irvine（加利福尼亚大学欧文分校） 纠错

专题命中 音视频/视觉语言融合 ：sensor fusion(title,abstract)

AI总结 针对现有不确定性感知融合方法泛化性差的问题，提出CRUISE框架，结合VLM引导的UQ模块与动态自适应机制，实现鲁棒的自动驾驶跨模态传感器融合。

Expert-Guided Multimodal Fusion for Unified Emotion and Sentiment Analysis

通过专家引导的多模态融合与大语言模型的统一框架实现情绪识别与情感分析

Jiaqi Qiao, Xinran Li, Yifan Lyu, Xiujuan Xu, Liu Yu

机构 * School of Software, Dalian University of Technology, China（软件学院，大连理工大学，中国） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(title,abstract)

AI总结 本文提出EGMF框架，通过专家引导的多模态融合与大语言模型结合，实现情绪识别与情感分析的统一处理，提升跨语言鲁棒性。

Comments 14 pages, 6 figures

DAP-Pose: Deep Temporal Alignment and Physics-aware Cross-modal Sensor Fusion for Robust Pose Estimation

DAP-Pose：用于鲁棒姿态估计的深度时间对齐和物理感知跨模态传感器融合

Jianhan Lin, Yuchu Qin, Jiateng Yuan, Wenbo Zhang, Shuai Gao

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院） ； International Research Center of Big Data for Sustainable Development Goals（可持续发展大数据国际研究中心） ； University of Chinese Academy of Sciences（中国科学院大学） ； The University of Adelaide（阿德莱德大学） 纠错

专题命中 音视频/视觉语言融合 ：sensor fusion(title)；分类 cs.CV、cs.RO

AI总结 针对复杂环境下多模态传感器的姿态估计问题，提出DAP-Pose模型，通过双级跨模态融合模块捕捉线索，深度时间对齐模块处理异步流，结合物理感知约束，在KITTI数据集上达最优性能，平均平移误差1.31%，旋转误差0.46°，严重错位下也能准确估计。

LAVA: Layered Audio-Visual Anti-tampering Watermarking for Robust Deepfake Detection and Localization

LAVA：分层音频视觉抗篡改水印用于鲁棒深度伪造检测与定位

Bokang Zeng, Zheng Gao, Xiaoyu Li, Xiaoyan Feng, Jiaojiao Jiang

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； UNSW Sydney（新南威尔士大学悉尼分校） ； School of Information and Communication Technology（信息与通信技术学院） ； Griffith University（格里菲斯大学） 纠错

专题命中 音视频/视觉语言融合 ：audio-visual fusion(abstract)；分类 cs.CV

AI总结 LAVA通过跨模态水印融合与校准感知对齐，提升深度伪造篡改检测与定位的鲁棒性，实验表明其检测性能接近完美，抗压缩与多模态错位能力强。

Comments Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026)

Describe-to-Score: A text-guided framework for image complexity assessment

描述到评分：一种用于图像复杂度评估的文本引导框架

Shipeng Liu, Liang Zhao, Dengfeng Chen, Zhonglin Zhang

机构 * Xi’an University of Architecture and Technology（西安建筑科技大学） 纠错

专题命中 音视频/视觉语言融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 该研究针对现有图像复杂度评估方法无法捕捉高级语义的问题，提出文本引导框架D2S，仅训练阶段引入描述语义正则化，在IC9600基准达SOTA，跨任务也具竞争力。

Comments Accepted by Pattern Recognition

Investigating Multimodal Informativity under Different Partner Visibility Conditions in Video-Mediated Dialogue

视频介导对话中不同伙伴可见性条件下的多模态信息性研究

Esam Ghaleb, Hugh Mee Wong, Kristina Kobrock

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)

AI总结 本研究针对视频介导对话，构建基于语音、手势或两者的模型识别指称对象，发现手势可单独预测指称，融合模型在转录模型不确定时效果最佳，还揭示了伙伴可见性对互动的语用效应。

Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition

通过部分信息分解理解多模态语言模型中的模态交互

Wanlong Fang, Tianle Zhang, Wen Tao, Alvin Chan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 音视频/视觉语言融合 ：audio-visual fusion(abstract)

AI总结 引入部分信息分解（PID）框架，分离感官和语言输入的独特、冗余和协同贡献，揭示多模态大模型中的模态使用模式，并扩展至三模态系统。

Comments Accepted by ICML 2026

Multimodal Skin Lesion Classification with Swin Transformer and Clinical Metadata Fusion

基于Swin Transformer与临床元数据融合的多模态皮肤病变分类

Nethmi Pathirana, Isuru Munasinghe, Dileeka Alwis

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV、cs.RO

AI总结 该研究针对皮肤病变分类的自动化挑战，提出结合Swin Transformer图像特征与临床元数据的多模态框架，在公开数据集上实现92.55%测试准确率，兼具强少数类性能与预测可信度。

PressureMesh: 3D Human Mesh Estimation from Multi-Device Pressure Images

PressureMesh：基于多设备压力图像的3D人体网格估计

Changhai Ma, Ziyu Wu, Yunkang Zhang, Fangting Xie, Mengting Niu, Heyu Ding, Quan Wan, Jiayue Yuan, Boyan Liu, Yi Ke, Xiaohui Cai

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 针对单设备压力监测范围有限的问题，提出端到端网络MDP-Net，结合MoE框架的多模态融合机制，构建MDP数据集，实现跨设备压力数据的3D人体网格估计，关节位置误差为12.6cm。

Frequency-Domain Dual-Branch Fusion for Medical Visual Question Answering

用于医学视觉问答的频域双分支融合

Yusra Tariq, Rakesh Chandra Joshi

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出频域双分支融合模块，结合BiomedCLIP与BioBART，在PMC-VQA预训练后于VQA-RAD、SLAKE微调，提升医学VQA性能且架构轻量高效。

Comments 7 Pages, 4 figures, under review at AAAI 27