多模态信息融合

Uncertainty-Aware Adaptive Sensor Fusion for Autonomous Navigation

不确定性感知的自适应传感器融合用于自主导航

Simegnew Yihunie Alaba, Yuichi Motai

机构 * IEEE 纠错

专题命中 机器人多传感器融合 ：sensor fusion(title,abstract)；分类 cs.CV、cs.RO

AI总结 提出一种结合无迹卡尔曼滤波（UKF）的混合深度学习方法，通过不确定性感知的自适应融合视觉和惯性特征，提高自主导航中视觉惯性里程计（VIO）的位姿估计精度。

Comments 13 pages

Attitude-Aided Linear Calibration of Triaxial Accelerometers

三轴加速度计的姿态辅助线性校准

Yongqiang Yu, Tian Huang, Yipeng Yang

机构 * Tsinghua University（清华大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 提出一种利用姿态信息的三轴加速度计线性校准方法（ALAC），通过构建组合误差矩阵实现线性最小二乘估计，仅需五个任意方向测量即可完成校准，并在静态和准静态实验中验证了其精度和鲁棒性。

Towards Realistic 3D Sonar Simulation

面向真实3D声纳仿真

Youssef Attia, Davide Costa, Francesco Wanderlingh, Filippo Campagnaro, Enrico Simetti

机构 * IEEE 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 本文提出一种模块化架构，结合GPU加速图形引擎与物理声学传播原理，在NVIDIA Isaac Sim中实现基于Water Linked 3D-15传感器的体积3D声纳模型，并通过硬件在环配置验证其有效性。

Leveraging Cascaded Binary Classification and Multimodal Fusion for Dementia Detection through Spontaneous Speech

利用级联二分类和多模态融合进行自发语音中的痴呆症检测

Yin-Long Liu, Yuanchao Li, Rui Feng, Liu He, Jia-Xin Chen, Yi-Ming Wang, Yu-Ang Chen, Yan-Han Peng, Jia-Hong Yuan, Zhen-Hua Ling

专题命中 音视频/视觉语言融合 ：multimodal fusion(title,abstract)

AI总结 本文提出了一种级联二分类和多模态融合的方法，用于通过自发语音进行早期痴呆症检测，解决了类别不平衡问题，并在Mini-Mental State Examination评分回归任务中实现了优于基线方法的性能。

Comments Accepted by Interspeech 2025

Journal ref Proc. Interspeech 2025, pp. 544-548, 2025

ExpSpeech-Net: Multimodal Fusion of Expression and Speech for Deepfake Detection

ExpSpeech-Net: 表情与语音的多模态融合用于深度伪造检测

Ruchika Sharma, Rudresh Dwivedi

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(title)；分类 cs.CV

AI总结 提出轻量级ExpSpeech-Net模型，通过融合面部表情和语音模式，利用SqueezeNet和RNN骨干网络及智能特征选择，实现高效深度伪造检测，准确率达94.5%。

TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models

TRACE: 面向多模态时间序列基础模型的时间条件估计

Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)

AI总结 提出TRACE条件估计范式，通过利用可用辅助模态推断缺失目标模态，解决多模态时间序列中的时间错位和部分模态缺失问题，在医疗和情感分析基准上优于现有融合方法。

Comments 5 figures and 5 tables in the main paper, plus appendix

DBHN-Net: Dual-Branch Hybrid Neural Network For Low-Complexity Monaural Speech Enhancement

DBHN-Net: 低复杂度单声道语音增强的双分支混合神经网络

Cunhang Fan, Enrui Liu, Jing Zhou, Jian Kang, Jie Li, Andong Li, Jian Zhou, Zhao Lv, Xuelong Li

机构 * State Key Laboratory of Opto-Electronic Information Acquisition and Protection Technology, (School of Computer Science and Technology), Anhui University（光电信息获取与防护技术国家重点实验室（计算机科学与技术学院），安徽大学） ； China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（中国电信人工智能技术（北京）有限公司） ； Institute of Acoustics, University of Chinese Academy of Sciences（中国科学院声学研究所） ； Institute of Artificial Intelligence (TeleAI), China Telecom, China（人工智能研究所（TeleAI），中国电信，中国） 纠错

专题命中 音视频/视觉语言融合 ：information fusion(abstract)

AI总结 提出一种结合ANN和SNN的双分支混合神经网络，通过BandSplit、TF-Mamba等模块降低计算复杂度，同时利用交互和融合模块保持性能，在三个公共数据集上实现平均7.5倍复杂度降低。

Comments This article has been accepted for publication in IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)

Journal ref IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI2026)

PAMF: Prior-Aware Multimodal Fusion for Incomplete Time Series Data

PAMF: 面向不完整时间序列数据的先验感知多模态融合

Ziwen Kan, Wugeng Zheng, Tianlong Chen, Song Wang

机构 * Department of Computer Science, University of Central Florida（中央佛罗里达大学计算机科学系） ； Department of Computer Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校计算机科学系） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title)

AI总结 提出PAMF框架，通过先验感知流匹配和权重共享显式处理模态内缺失和模态级缺失，将插补与下游预测耦合，提升多模态医疗时间序列任务性能。

Comments 5 figures. arXiv preprint version

Step-adaptive multimodal fusion network with multi-scale cloud feature learning for ultra-short-term solar irradiance forecasting

步进自适应多模态融合网络与多尺度云特征学习用于超短期太阳辐照度预测

Jingxin Zhang Xiaoqin Wang

机构 * School of Automation, Southeast University（自动化学院，东南大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title)

AI总结 提出一种步进自适应多模态融合网络，通过InceptionNeXt提取多尺度云特征、步进自适应低频补偿单元动态调整低频信息，并结合气象时间序列特征进行超短期太阳辐照度预测。

JI-ADF: Joint-Individual Learning with Adaptive Decision Fusion for Multimodal Skin Lesion Classification

JI-ADF：联合-个体学习与自适应决策融合用于多模态皮肤病变分类

Phan Nguyen, Dat Cao, Hien Kha, Hien Chu, Minh Le, Trang Pham, Nguyen Quoc Khanh Le

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出JI-ADF框架，通过整合皮肤镜图像、临床照片和结构化患者数据，实现基于临床的皮肤病变分类，采用多模态表示学习和自适应决策融合机制，提升跨模态推理能力，并在MILK10k数据集上验证了其在实际临床场景中的可靠性。