多模态信息融合

Anchoring Emotions in Text: Robust Multimodal Fusion for Mimicry Intensity Estimation

在文本中锚定情绪：用于模仿强度估计的鲁棒多模态融合

Lingsi Zhu, Yuefeng Zou, Yunxiang Zhang, Naixiang Zheng, Guoyuan Wang, Jun Yu, Jiaen Liang, Wei Huang, Shengping Liu, Ximin Zheng

机构 * University of Science and Technology of China（中国科学技术大学） ； Unisound AI Technology Co., Ltd.（Unisound人工智能科技有限公司） ； Pingan Technology Co., Ltd.（平安科技有限公司） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、cs.MM

AI总结 本文提出TAEMI框架，通过文本锚定机制融合多模态数据，提升在噪声和缺失数据下的情绪模仿强度估计性能。

AGSP-DSA: An Adaptive Graph Signal Processing Framework for Robust Multimodal Fusion with Dynamic Semantic Alignment

AGSP-DSA: 一种用于鲁棒多模态融合的自适应图信号处理框架，具有动态语义对齐

KV Karthikeya, Ashok Kumar Das, Shantanu Pal, Vivekananda Bhat K, Arun Sekar Rajasekaran

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、cs.MM

AI总结 AGSP-DSA通过自适应图信号处理和动态语义对齐，实现鲁棒的多模态融合，提升情感分析和多媒体分类的性能。

Cross-Enhanced Multimodal Fusion of Eye-Tracking and Facial Features for Alzheimer's Disease Diagnosis

Yujie Nie, Jianzhang Ni, Yonglong Ye, Yuan-Ting Zhang, Yun Kwok Wing, Xiangqing Xu, Xin Ma, Lizhou Fan

机构 * School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学） ； Engineering Research Center of Intelligent Unmanned System, Ministry of Education（智能无人机系统工程研究中心，教育部） ； Department of Psychiatry, The Chinese University of Hong Kong（心理学系，香港中文大学） ； Department of Electronic Engineering, The Chinese University of Hong Kong（电子工程系，香港中文大学） ； AICARE Lab, Guangdong Medical University（AICARE实验室，广东医科大学） ； Department of Neurology, Shandong University of Traditional Chinese Medicine Affiliated Hospital（神经内科，山东中医药大学附属医院） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、eess.IV

Comments 35 pages, 8 figures, and 7 tables

Multi-Atlas Brain Network Classification through Consistency Distillation and Complementary Information Fusion

Jiaxing Xu, Mengcheng Lan, Xia Dong, Kai He, Wei Zhang, Qingtian Bian, Yiping Ke

机构 * College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） ； Saw Swee Hock School of Public Health at National University of Singapore（新加坡国立大学 Saw Swee Hock 公共卫生学院） ； Cognitive Neuroimaging Centre and Lee Kong Chian School of Medicine, Nanyang Technological University（认知神经影像中心和 Lee Kong Chian 医学院，南洋理工大学） 纠错

专题命中 融合架构与评测 ：information fusion(title)；分类 cs.CV、eess.IV

Long-Tailed 3D Detection via Multi-Modal Fusion

Yechi Ma, Neehar Peri, Achal Dave, Wei Hua, Deva Ramanan, Shu Kong

机构 * Department of Computer Science（计算机科学系） ； Robotics Institute（机器人研究所） ； Toyota Research Institute（丰田研究机构） ； Faculty of Science and Technology（科学与技术学院） ； Institute of Collaborative Innovation（协同创新研究所） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(title)；分类 cs.CV、cs.RO

Comments The first two authors contributed equally. Project page: https://mayechi.github.io/lt3d-lf-io/

Cross-Attention Multimodal Fusion for Breast Cancer Diagnosis: Integrating Mammography and Clinical Data with Explainability

Muhaisin Tiyumba Nantogmah, Abdul-Barik Alhassan, Salamudeen Alhassan

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、eess.IV

Comments 11 pages, 9 figures

Zero-Shot Character Identification and Speaker Prediction in Comics via Iterative Multimodal Fusion

Yingxuan Li, Ryota Hinami, Kiyoharu Aizawa, Yusuke Matsui

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、cs.MM

Comments Accepted to ACM Multimedia 2024. Project page: https://liyingxuan1012.github.io/zeroshot-speaker-prediction ; Github repo: https://github.com/liyingxuan1012/zeroshot-speaker-prediction

Improved Automatic Diabetic Retinopathy Severity Classification Using Deep Multimodal Fusion of UWF-CFP and OCTA Images

Mostafa El Habib Daho, Yihao Li, Rachid Zeghlache, Yapo Cedric Atse, Hugo Le Boité, Sophie Bonnin, Deborah Cosette, Pierre Deman, Laurent Borderie, Capucine Lepicard, Ramin Tadayoni, Béatrice Cochener, Pierre-Henri Conze, Mathieu Lamard, Gwenolé Quellec

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、eess.IV

Comments Accepted preprint for presentation at MICCAI-OMIA 20023, Vancouver, Canada

Spatio-Temporal Hybrid Fusion of CAE and SWIn Transformers for Lung Cancer Malignancy Prediction

Sadaf Khademi, Shahin Heidarian, Parnian Afshar, Farnoosh Naderkhani, Anastasia Oikonomou, Konstantinos Plataniotis, Arash Mohammadi

专题命中 融合架构与评测 ：hybrid fusion(title)；分类 cs.CV、eess.IV

Comments arXiv admin note: substantial text overlap with arXiv:2110.08721

Late multimodal fusion for image and audio music transcription

María Alfaro-Contreras, Jose J. Valero-Mas, José M. Iñesta, Jorge Calvo-Zaragoza

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、cs.MM

Multi-Modal Fusion for Sensorimotor Coordination in Steering Angle Prediction

Farzeen Munir, Shoaib Azam, Byung-Geun Lee, Moongu Jeon

专题命中 融合架构与评测 ：multi-modal fusion(title)；分类 cs.CV、cs.RO

Retinal OCT Denoising with Pseudo-Multimodal Fusion Network

Dewei Hu, Joseph D. Malone, Yigit Atay, Yuankai K. Tao, Ipek Oguz

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、eess.IV

Comments Accepted by International Workshop on Ophthalmic Medical Image Analysis (OMIA) 2020

UNO: Uncertainty-aware Noisy-Or Multimodal Fusion for Unanticipated Input Degradation

Junjiao Tian, Wesley Cheung, Nathan Glaser, Yen-Cheng Liu, Zsolt Kira

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、cs.RO

Comments IEEE International Conference on Robotics and Automation (ICRA), 2020. IROS Workshop on the Importance of Uncertainty in Deep Learning for Robotics, 2019

Temporal Multimodal Fusion for Video Emotion Classification in the Wild

Valentin Vielzeuf, Stéphane Pateux, Frédéric Jurie

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、cs.MM

Journal ref ACM - ICMI 2017, Nov 2017, Glasgow, United Kingdom

Attention-Based Multimodal Fusion for Video Description

Chiori Hori, Takaaki Hori, Teng-Yok Lee, Kazuhiro Sumi, John R. Hershey, Tim K. Marks

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV、cs.MM

Comments Resubmitted to the rebuttal for CVPR 2017 for review, 8 pages, 4 figures

Data Harmonisation for Information Fusion in Digital Healthcare: A State-of-the-Art Systematic Review, Meta-Analysis and Future Research Directions

Yang Nan, Javier Del Ser, Simon Walsh, Carola Schönlieb, Michael Roberts, Ian Selby, Kit Howard, John Owen, Jon Neville, Julien Guiot, Benoit Ernst, Ana Pastor, Angel Alberich-Bayarri, Marion I. Menzel, Sean Walsh, Wim Vos, Nina Flerin, Jean-Paul Charbonnier, Eva van Rikxoort, Avishek Chatterjee, Henry Woodruff, Philippe Lambin, Leonor Cerdá-Alberich, Luis Martí-Bonmatí, Francisco Herrera, Guang Yang

专题命中 融合架构与评测 ：information fusion(title,comments)；分类 cs.CV

Comments 54 pages, 14 figures, accepted by the Information Fusion journal

Quantum-inspired Multimodal Fusion for Video Sentiment Analysis

Qiuchi Li, Dimitris Gkoumas, Christina Lioma, Massimo Melucci

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.MM；information fusion(comments)

Comments Post-print accepted by Information Fusion

A multi-head deep fusion model for recognition of cattle foraging events using sound and movement signals

Mariano Ferrero, José Omar Chelotti, Luciano Sebastián Martinez-Rau, Leandro Vignolo, Martín Pires, Julio Ricardo Galli, Leonardo Luis Giovanini, Hugo Leonardo Rufiner

机构 * Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, sinc(i)（信号、系统和计算智能研究所） ； FICH-UNL/CONICET（UNL/CONICET联合研究所） ； TERRA Teaching and Research Center, University of Liège（利耶大学TERRA教学与研究中心） ； Department of Computer and Electrical Engineering, Mid Sweden University（中瑞典大学计算机与电气工程系） ； Facultad de Ciencias Agrarias, Univ. Nacional de Rosario（罗萨里奥国立大学农业学院） ； Instituto de Investigaciones en Ciencias Agrarias de Rosario, IICAR, Facultad de Ciencias Agrarias, UNR-CONICET（罗萨里奥农业科学研究所，IICAR，农业学院，UNR-CONICET） ； Laboratorio de Cibernética, Facultad de Ingeniería, Univ. Nacional de Entre Ríos（恩特雷里奥斯国立大学神经控制实验室，工程学院） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)；feature-level fusion(abstract)；decision-level fusion(abstract)

Comments Preprint submitted to Engineering Applications of Artificial Intelligence

Multimodal fusion of visual and morphometric features for avian bone classification

用于鸟类骨骼分类的视觉与形态计量特征多模态融合

Nevio Dubbini, Lisa Yeomans, Marco Pavia, Ramazan Parmaksiz, Ayse Atas Hooglugt, Gabriele Gattiglia, Beatrice Demarchi

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV

AI总结 本研究提出结合卷积神经网络图像分析与骨计量测量的多模态框架，用于鸟类骨骼分类，在骨骼类型分类准确率达86%，科级分类Top-1准确率51%、Top-3准确率75%，为AI辅助动物考古识别建立了方法学基线。

Food Image Segmentation with LLM-Derived Ingredient Labels and Multimodal Fusion

基于大语言模型衍生成分标签和多模态融合的食品图像分割

Jui-Feng Chi, Wei-Ta Chu, Sheng-Long Lin

机构 * National Cheng Kung University（国立成功大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV

AI总结 针对现有食品图像分割模型在相似成分和罕见类别上表现不佳的问题，提出两个多模态模块LIM-F和LIM-Q，利用大语言模型衍生标签提升分割性能，在FoodSeg103基准测试中取得领先，且内存消耗增加适度，为细粒度食品理解提供实用方案。

DynaBridge: Dynamic Summary-Guided Cross-Task Multimodal Fusion for DASS-Structured Mental Health Assessment

DynaBridge：用于DASS结构心理健康评估的动态摘要引导跨任务多模态融合

Shiyu Teng, Haichen Yu, Jiaqing Liu, Hao Sun, Yu Song, Shurong Chai, Ruibo Hou, Lanfen Lin, Yen-Wei Chen

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.MM

AI总结 研究针对心理健康评估中通用融合模型忽略问卷标签心理测量结构的问题，提出DynaBridge框架，通过编码多模态线索并结合语义摘要进行评估，在官方验证分割上优于基线和其他方法，展现了多模态融合与心理测量结构结合的价值。

Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features

质量感知多模态融合揭示效价-唤醒特征中的隐含身份

Jisu Kim, Benjamin S. Riggan

机构 * University of Nebraska-Lincoln（内布拉斯加大学林肯分校） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV

AI总结 研究针对传统人脸识别在无约束环境中表现不佳的问题，提出质量感知自适应融合方法 QAAF 用于多模态效价-唤醒估计，在 VA 估计任务中取得良好效果，且经 VA 训练的特征在编码身份上表现出色，确立了多模态 VA 估计为传统人脸识别的互补软生物特征模态。

Comments 10 pages, 3 figures, 6 tables. Accepted for publication at IEEE International Joint Conference on Biometrics (IJCB), 2026

Trusted Multi-View Deep Learning Classification of Fetal Congenital Heart Disease with Feature-level and Decision-level Fusion

基于特征级与决策级融合的胎儿先天性心脏病可信多视图深度学习分类

Tan Zhou, Shifa Yao, Suncheng Xiang, Dahong Qian, Baoying Ye

机构 * School of Biomedical Engineering, Shanghai Jiao Tong University（生物医学工程学院，上海交通大学） ； Shanghai Key Laboratory of Embryo Original Diseases（上海胚胎原发疾病重点实验室） ； Shanghai Municipal Key Clinical Specialty（上海市级重点临床专科） 纠错

专题命中 融合架构与评测 ：decision-level fusion(title)；分类 cs.CV

AI总结 提出一种多视图深度学习框架，通过特征提取、注意力机制和不确定性决策融合超声心动图多视角图像，实现胎儿先天性心脏病高精度二分类。

DeeperRadar: End-to-End MIMO Radar Design and Multi-Modal Fusion for Autonomous Vehicle Perception

深度雷达：用于自动驾驶车辆感知的端到端MIMO雷达设计与多模态融合

Eli Goldenshluger, Barak Pinkovich, Chaim Baskin

机构 * Technion–Israel Institute of Technology（以色列理工学院） ； Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(title)；分类 cs.RO

AI总结 深度雷达以雷达为中心，通过端到端学习稀疏采集模式，共同设计雷达传感与多模态3D检测。其可学习的MIMO设计模块在融合网络中训练，由其他传感器监督。在RADIal数据集上评估，能发现稀疏配置，降低成本与复杂性，表明最优设计取决于融合堆栈和感知任务。

Comments Accepted for publication at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

IMMNet: Hybrid Fusion of Model-based and Data-driven Approaches for Maneuvering Target Tracking

IMMNet：基于模型与数据驱动方法的混合融合用于机动目标跟踪

Yixuan Zhao, Chaoqun Yang, Lin Gao, Yongxiao Tian, Ting Yuan

机构 * School of Automation, Southeast University（东南大学自动化学院） ； School of ICE, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院） ； Faculty of Artificial Intelligence, Shanghai University of Electric Power（上海电力大学人工智能学院） ； School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） 纠错

专题命中 融合架构与评测 ：hybrid fusion(title)；分类 cs.RO

AI总结 针对三维空间机动目标跟踪难题，提出IMMNet算法，融合IMM算法可解释结构与神经组件，能保留贝叶斯推理机制并从数据学习，实验证明该算法在多场景下优于现有算法，是机动目标跟踪的有效方案。

COMPASS: Complete Multimodal Fusion via Proxy Tokens and Shared Spaces for Ubiquitous Sensing

COMPASS：通过代理令牌和共享空间实现完整的多模态融合以实现无处不在的感知

Hao Wang, Yanyu Qian, Pengcheng Weng, Zixuan Xia, William Dan, Yangxin Xu, Fei Wang

机构 * Universität Bern（伯恩大学） ； Xi’an Jiaotong University（西安交通大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV

AI总结 COMPASS通过代理令牌和共享空间实现多模态融合，解决缺失模态导致的信息丢失和融合接口不匹配问题，提升多模态感知的鲁棒性。

MTLLFM: Multimodal-Temporal Laughter Localization: UR-FUNNY-Temporal and SMILE-Temporal Benchmarks with an Adaptive Multimodal Fusion Model

MTLLFM: 多模态时间笑声定位——UR-FUNNY-Temporal和SMILE-Temporal基准数据集与自适应多模态融合模型

Eyal Hanania, Nadav Kirsch, Daniel Arkushin, Jonathan Benvenisti, Amos Bercovich, Elie Zemmour, Sahar Froim

机构 * WSC-Sports（WSC-体育） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV

AI总结 针对现有方法无法精确捕捉短暂笑声事件时间边界的问题，本文提出两个完全标注的时间笑声数据集（UR-FUNNY-Temporal和SMILE-Temporal）和一个轻量级弱监督框架，通过固定HuBERT和MAE编码器结合时间softmax池化与自适应模态门控，实现从片段级标签到帧级时间定位，在体育广播数据上达到99% F1和68.1%定位精度，并将下游笑声推理CIDEr提升227%。

Comments Accepted to the Workshop on Affective & Behavior Analysis in-the-wild, CVPR 2026

Simultaneous Long-tailed Recognition and Multi-modal Fusion for Highly Imbalanced Multi-modal Data

多模态数据中长尾识别与多模态融合的联合处理

Heegeon Yoon, Heeyoung Kim

机构 * Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology (KAIST)（工业与系统工程系，韩国科学技术院（KAIST）） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(title)；分类 cs.CV

AI总结 本文提出一种处理长尾分布多模态数据的新框架，通过融合异质数据并利用模态特定网络增强信息，提升在长尾类不平衡场景下的性能。

EfficientPENet: Real-Time Depth Completion from Sparse LiDAR via Lightweight Multi-Modal Fusion

EfficientPENet：通过轻量多模态融合实现稀疏LiDAR的实时深度补全

Johny J. Lopez, Md Meftahul Ferdaus, Mahdi Abdelguerfi, Anton Netchaev, Steven Sloan, Ken Pathak, Kendall N. Niles

机构 * Canizaro Livingston Gulf States Center for Environmental Informatics, the University of New Orleans, New Orleans, USA（Canizaro Livingston Gulf States环境信息中心，新奥尔良大学，美国新奥尔良） ； US Army Corps of Engineers, Engineer Research and Development Center, Vicksburg, Mississippi, USA（美国陆军工程兵团，工程师研究与发展中心，密西西比州维克斯堡，美国） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(title)；分类 cs.CV

AI总结 本文提出EfficientPENet，通过轻量级多模态融合网络，在稀疏LiDAR和RGB图像上实现实时深度补全，具有更少的参数和更高的速度，同时保持竞争力的精度。

Comments This work has been submitted to the IEEE for possible publication

Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis

多模态融合组织病理图像与电子健康记录用于早期乳腺癌诊断

Aditya Shribhagwan Khandelwal, Mohammad Samar Ansari, Asra Aslam

机构 * University of Sheffield（谢菲尔德大学） ； University of Chester（切斯特大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(title)；分类 cs.CV

AI总结 本文提出整合BreCaHAD数据集的病理特征与MIMIC-IV的临床数据的多模态框架，通过训练单模态模型和中间融合模型提升乳腺癌早期诊断的准确性和透明度。