多模态信息融合

Text-Driven Fusion for Infrared and Visible Images: Achieving Image Scene Adaptation on Hyperbolic Space

红外与可见光图像的文本驱动融合：在双曲空间实现图像场景自适应

Huan Kang, Hui Li, Tianyang Xu, Tao Zhou, Xiao-Jun Wu, Josef Kittler

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 红外-可见光融合 ：infrared and visible(title,abstract)；image fusion(abstract)；分类 cs.CV

AI总结 提出一种文本驱动的红外与可见光图像融合框架，利用双曲流形学习嵌入层次语义，通过BLIP文本提示引导视觉-属性对齐，实现无文本输入的自适应融合，性能优于现有方法。

Comments 14 pages, 8 figures

Fusion is not one-size-fits-all: Cross-Modal Representation Alignment for Time-to-Event Modeling

融合并非一刀切：用于时间-事件建模的跨模态表示对齐

Zhemin Zhang, Weijie Chen, David Le, Amara Tariq, Alex Wallace, Matthew Stib, Juan Maria Farina, Chadi Ayoub, Reza Arsanjani, Imon Banerjee

机构 * Arizona State University（亚利桑那州立大学） ； Mayo Clinic（梅奥诊所） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)

AI总结 针对多模态临床数据中的模态不平衡和分布偏移问题，提出一种基于基础模型的跨模态对齐框架，通过四种融合策略在CT影像和纵向EHR数据间进行表示对齐，在肺栓塞死亡率和心血管疾病结局预测任务上验证了融合的有效性，并首次系统分析了时间-事件预测中的模态不平衡对融合行为的影响。

GraphBEV++: Multi-Modal Feature Alignment for Autonomous Driving

GraphBEV++: 自动驾驶中的多模态特征对齐

Ziying Song, Caiyan Jia, Lin Liu, Shaoqing Xu, Lei Yang, Yadan Luo

机构 * Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院，交通数据挖掘与具身智能北京市重点实验室） ； School of Artificial Intelligence (School of Software), Yanshan University（燕山大学人工智能学院（软件学院）） ； University of Macau（澳门大学） ； Nanyang Technological University（南洋理工大学） ； The University of Queensland（昆士兰大学） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 针对自动驾驶中BEV感知的特征未对齐问题，提出GraphBEV++框架，通过局部对齐（LocalAlign-v2）和全局对齐（GlobalAlign-v2）模块，利用图匹配、可变形偏移和扩散去噪方法，在多种基准上实现最优性能。

Comments 30 pages, 7 figures

Multi-Sensor Fusion for UAV Classification Based on Feature Maps of Image and Radar Data

基于图像和雷达数据特征图的多传感器融合无人机分类

Nikos Sakellariou, Antonios Lalas, Konstantinos Votis, Dimitrios Tzovaras

机构 * Information Technologies Institute（信息科技研究所） ； Centre for Research & Technology – Hellas（希腊研究中心） ； Thessaloniki, Greece（塞萨洛尼基，希腊） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(title)；multi-sensor fusion(title)；分类 eess.SP

AI总结 提出一种融合热成像、光电和雷达数据特征的多传感器深度学习网络，通过堆叠图像特征提高无人机分类精度。

Comments 10 pages, 6 figures

Inference-time Policy Steering via Vision and Touch

通过视觉和触觉进行推理时策略引导

Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.RO

AI总结 提出ViTaL框架，通过视觉采样验证和触觉引导扩散编辑的双层优化，在推理时引导机器人策略，显著提升接触丰富操作任务的成功率。

Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

基于生理信号的深度时间建模与集成融合多模态情感识别

Desta Haileselassie Hagos, Saurav Keshari Aryal, Patrick Ymele-Leki, Anietie Andy, Legand L. Burge

机构 * Howard University（霍华德大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)

AI总结 本研究评估LSTM、TCN和Transformer在WESAD数据集上的多模态情感识别性能，通过消融实验和传感器级早期融合，并采用晚期融合集成策略，最终集成方法达到98.91%准确率和98.56%宏F1分数。

Comments Accepted for publication in the 17th ACM International Conference on Bioinformatics, Computational Biology and Health Informatics (ACM BCB 2026). DOI: https://doi.org/10.1145/3807503.3819363

EmoZone-Talker: Regional Semantic Control of Audio-Driven 3DGS Talking Heads via Facial Action Units

EmoZone-Talker: 基于面部动作单元的音频驱动3DGS说话人头部的区域语义控制

Tingting Chen, Shaojun Wang, Huaye Zhang, Diqiong Jiang, Chenglizhao Chen

机构 * China University of Petroleum (East China)（中国石油大学（华东）） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出EmoZone-Talker框架，通过区域解耦和时序建模解决音频与表情信号的冲突，实现精细、可解释的面部表情控制。

Data-Driven Decoding of Russell's Circumplex Model of Affect

基于数据驱动的Russell情感环状模型解码

Amdjed Belaref, Samir Sadok, Zineb Noumir, Renaud Seguier

机构 * Alten ； CentraleSupélec IETR UMR CNRS 6164（中央理工-高等电力学院 IETR CNRS 6164 联合研究单位） ； Inria at Univ. Grenoble Alpes, CNRS, LJK（法国国家信息与自动化研究所，格勒诺布尔阿尔卑斯大学，CNRS，LJK） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)

AI总结 本文研究Transformer嵌入是否恢复Russell环状模型的几何规律，通过文本和语音模型实验，发现多模态融合完美对齐情感排序，零样本下细粒度情感词接近人类映射坐标。

Comments This work has been submitted to the IEEE for possible publication

A Comparative and Hybrid Study of CNN and Transformer Models for Multi-Class Virus Classification in Transmission Electron Microscopy

CNN与Transformer模型在透射电子显微镜多类病毒分类中的比较与混合研究

Md Mahmudul Hoque, Md Kawser Islam, Md. Mamunur Rahman Moon, Abdullah Rakib Akand, Md. Hadi Al-amin, H. M. Azrof

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 eess.IV

AI总结 本研究比较了CNN和Transformer模型在TEM图像中22类病毒分类的性能，通过加权交叉熵缓解类别不平衡，Swin Transformer表现最佳，混合策略进一步提升了宏F1分数。

Comments 10 pages, 10 figures. Accepted on Springer LNCS Conference ICTIS 2026, Thailand

Journal ref Springer LNCS Conference ICTIS 2026, Thailand

BioAutoML-NAS: An End-to-End AutoML Framework for Multimodal Insect Classification via Neural Architecture Search on Large-Scale Biodiversity Data

BioAutoML-NAS：基于大规模生物多样性数据通过神经架构搜索进行多模态昆虫分类的端到端AutoML框架

Arefin Ittesafun Abian, Debopom Sutradhar, Md Rafi Ur Rashid, Reem E. Mohamed, Md Rafiqul Islam, Asif Karim, Kheng Cher Yeo, Sami Azam

机构 * Department of Computer Science and Engineering, United International University, Dhaka, Bangladesh（乌姆国际大学计算机科学与工程系，达卡，孟加拉国） ； Applied Artificial Intelligence and Intelligent Systems (AAIINS) Laboratory, 1217, Dhaka, Bangladesh（应用人工智能与智能系统实验室（AAIINS），1217号，达卡，孟加拉国） ； Department of Computer Science and Engineering, Penn State University, University Park, PA, USA（宾夕法尼亚州立大学计算机科学与工程系，University Park，PA，美国） ； Faculty of Science and Information Technology, Charles Darwin University, Sydney, NSW, Australia（查尔斯达尔文大学科学与信息技术学院，悉尼，新南威尔士州，澳大利亚） ； Faculty of Science and Technology, Charles Darwin University, Casuarina, 0909, NT, Australia（查尔斯达尔文大学科学与技术学院，Casuarina，0909，北领地，澳大利亚） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出首个多模态BioAutoML模型BioAutoML-NAS，利用神经架构搜索自动学习图像操作，结合元数据融合与交替双层优化，在BIOSCAN-5M数据集上以96.81%准确率超越现有方法。

Comments Accepted in IEEE Transactions on Big Data

Journal ref IEEE Transactions on Big Data (2026)

Progressive Knowledge-Guided Large Language Model Framework for Bearing Fault Diagnosis

渐进式知识引导的大型语言模型框架用于轴承故障诊断

Jinghan Wang, Gaoliang Peng, Yanjun Chen, Wei Zhang, Wentao Wu, Tianchen Liu

机构 * Harbin Institute of Technology, China（哈尔滨工业大学，中国） ； Eastern Institute of Technology, China（东方技术研究所，中国） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)

AI总结 提出渐进式物理引导多尺度振动信号处理框架，通过81维测量描述符、故障自适应分割和隐式知识编码，在四个数据集上实现98.49%诊断精度并降低12.6倍计算成本。

An Attention Mechanism for Robust Multimodal Integration in a Global Workspace Architecture

全局工作空间架构中用于鲁棒多模态集成的注意力机制

Roland Bertin-Johannet, Lara Scipio, Leopold Maytié, Rufin VanRullen

机构 * CerCo, CNRS, Université de Toulouse（CerCo、CNRS、图卢兹大学） ； ANITI, Artificial and Natural Intelligence Toulouse Institute（ANITI、图卢兹人工智能与自然智能研究所） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 提出一种轻量级自上而下的模态选择器，在冻结的多模态全局工作空间上运行，通过注意力机制提升系统在模态噪声或缺失下的鲁棒性，并在两个数据集上验证了其高效性和可迁移性。

Comments 21 pages, 6 figures, 2 tables. Accepted at ICANN 2026. Code: https://github.com/RolandBERTINJOHANNET/GW_attention