多模态信息融合

Learning High-Fidelity Cloth Animation via Skinning-Free Image Transfer

通过无骨骼绑定图像传输学习高保真布料动画

Rong Wang, Wei Mao, Changsheng Lu, Hongdong Li

机构 * The Australian National University（澳大利亚国立大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本研究提出无骨骼绑定图像传输方法，通过独立估计顶点位置和法线以生成高保真布料动画，提升动画质量和细节恢复能力。

Comments Accepted to 3DV 2026

MHB: Multimodal Handshape-aware Boundary Detection for Continuous Sign Language Recognition

MHB: 多模态手形感知边界检测用于连续手语识别

Mingyu Zhao, Zhanfu Yang, Yang Zhou, Zhaoyang Xia, Can Jin, Xiaoxiao He, Dimitris N. Metaxas

机构 * Rutgers University（罗杰斯大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出MHB方法，通过多模态融合结合3D骨骼特征和手形信息，提升连续手语识别的鲁棒性和准确性。

Towards Adaptive Fusion of Multimodal Deep Networks for Human Action Recognition

面向人类动作识别的多模态深度网络自适应融合

Novanto Yudistira

机构 * Departemen Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya（计算机科学系，信息学院，布拉格亚大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出了一种基于多模态深度网络的自适应融合方法，通过门控机制提升人类动作识别的准确性和鲁棒性。

Multimodal Mixture-of-Experts for ISAC in Low-Altitude Wireless Networks

多模态专家混合模型用于低空无线网络中的ISAC

Kai Zhang, Wentao Yu, Hengtao He, Shenghui Song, Jun Zhang, Khaled B. Letaief

机构 * IEEE 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.SP

AI总结 本文提出了一种多模态专家混合模型，用于提升低空无线网络中ISAC的性能，通过自适应融合策略提高环境感知和通信效率。

QuantumCanvas: A Multimodal Benchmark for Visual Learning of Atomic Interactions

QuantumCanvas：一种用于原子相互作用视觉学习的多模态基准

Can Polat, Erchin Serpedin, Mustafa Kurban, Hasan Kurban

机构 * Texas A&M University（德克萨斯大学） ； Ankara University（安卡拉大学） ； Texas A&M University at Qatar（德克萨斯大学（卡塔尔）） ； Hamad Bin Khalifa University（哈马德·本·卡西姆大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 QuantumCanvas通过多模态基准统一轨道物理与视觉表示学习，为学习可转移的量子相互作用提供了系统且可解释的基础。

UAV-MM3D: A Large-Scale Synthetic Benchmark for 3D Perception of Unmanned Aerial Vehicles with Multi-Modal Data

UAV-MM3D: 一种大规模合成基准，用于多模态数据下的无人机三维感知

Longkun Zou, Jiale Wang, Rongqin Liang, Hai Wu, Ke Chen, Yaowei Wang

机构 * Pengcheng Laboratory（鹏城实验室） ； University of Southern California（南加州大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 UAV-MM3D通过多模态合成数据提升无人机三维感知能力，提供高保真数据集和多任务基线模型。

Interpretable Multimodal Cancer Prototyping with Whole Slide Images and Incompletely Paired Genomics

可解释的多模态癌症原型生成：结合整张滑片图像与不完全配对的基因组学

Yupei Zhang, Yating Huang, Wanming Hu, Lequan Yu, Hujun Yin, Chao Li

机构 * Department of Clinical Neurosciences, University of Cambridge, UK（剑桥大学临床神经科学系） ； Department of Electrical & Electronic Engineering, The University of Manchester, UK（曼彻斯特大学电气与电子工程系） ； Department of Pathology, State Key Laboratory of Oncology in South China, Guangdong Provincial Clinical Research Center for Cancer, Sun Yat-sen University Cancer Center, China（南方医科大学肿瘤学国家重点实验室、广东省癌症临床研究中心、中山大学肿瘤中心病理学部） ； Department of Statistics and Actuarial Science, The University of Hong Kong, Hong Kong SAR, China（香港大学统计与精算科学系） ； Department of Clinical Neurosciences and Department of Applied Mathematics and Theoretical Physics, University of Cambridge（剑桥大学临床神经科学系和应用数学与理论物理系；邓迪大学科学与工程学院和医学学院） ； School of Science and Engineering and School of Medicine, University of Dundee, UK 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出了一种可解释的多模态原型生成框架，通过整合整张滑片图像和不完整的基因组学数据，提升精准肿瘤学中的多模态整合效果。

MANGO: Multimodal Attention-based Normalizing Flow Approach to Fusion Learning

MANGO: 多模态基于注意力的归一化流方法用于融合学习

Thanh-Dat Truong, Christophe Bobda, Nitin Agarwal, Khoa Luu

机构 * CVIU Lab, University of Arkansas, USA（大学实验室，亚利桑那大学，美国） ； University of Florida, USA（佛罗里达大学，美国） ； COSMOS Research Center, University of Arkansas, Little Rock, USA（研究机构，亚利桑那大学，小石城，美国） ； ICSI, University of California, Berkeley, USA（研究机构，加州大学伯克利分校，美国） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 MANGO提出了一种基于归一化流和可逆交叉注意力机制的多模态融合学习方法，通过三种新型交叉注意力机制提升多模态数据的建模能力。

Comments Accepted to NeurIPS'25

DualGazeNet: A Biologically Inspired Dual-Gaze Query Network for Salient Object Detection

DualGazeNet: 一种生物启发的双目注视查询网络用于显著物体检测

Yu Zhang, Haoan Ping, Yuchen Li, Zhenshan Bing, Fuchun Sun, Alois Knoll

机构 * School of Computation, Information and Technology, Technical University of Munich（计算信息与技术学院，慕尼黑技术大学） ； Department of Informatics, Technical University of Munich（信息学院，慕尼黑技术大学） ； University Research and Innovation Center, Obuda University（奥布达大学研究与创新中心） ； State Key Laboratory for Novel Software Technology, Nanjing University Suzhou Campus（新型软件技术国家重点实验室，南京大学苏州校区） ； School of Science and Technology, Nanjing University Suzhou Campus（科学与技术学院，南京大学苏州校区） ； Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 DualGazeNet通过生物启发的纯Transformer框架，实现了显著物体检测的高效准确性和计算效率，超越了多种现有方法。

MambaX: Image Super-Resolution with State Predictive Control

MambaX：基于状态预测控制的图像超分辨率

Chenyu Li, Danfeng Hong, Bing Zhang, Zhaojie Pan, Naoto Yokoya, Jocelyn Chanussot

机构 * Southeast University（东南大学） ； Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空信息研究所） ； College of Resources and Environment, University of Chinese Academy of Sciences（中国科学院大学资源与环境学院） ； School of Mathematics, Southeast University（东南大学数学学院） ； Department of Complexity Science and Engineering, Graduate School of Frontier Sciences, the University of Tokyo（东京大学前沿科学研究院复杂科学与工程部门） ； Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、Inria、CNRS、Grenoble INP、LJK） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 MambaX通过动态状态预测控制和多模态融合方法提升图像超分辨率性能。

Multimodal AI for Body Fat Estimation: Computer Vision and Anthropometry with DEXA Benchmarks

多模态AI用于脂肪率估计：计算机视觉与体态测量结合DEXA基准测试

Rayan Aldajani

机构 * Dept. of Electrical Engineering and Computer Science（电气工程与计算机科学系） ； York University（约克大学） ； Toronto, Canada（加拿大多伦多） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本研究提出利用多模态AI结合计算机视觉和体态测量数据，通过DEXA基准测试验证了低成本脂肪率估计方法的有效性。

Comments 2 pages, 2 figures, accepted at IEEE CASCON 2025

LightFusion: A Light-weighted, Double Fusion Framework for Unified Multimodal Understanding and Generation

LightFusion: 一种轻量级、双融合框架用于统一多模态理解和生成

Zeyu Wang, Zilong Chen, Chenhui Gou, Feng Li, Chaorui Deng, Deyao Zhu, Kunchang Li, Weihao Yu, Haoqin Tu, Haoqi Fan, Cihang Xie

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； Tsinghua University（清华大学） ； Monash University（墨尔本大学） ； ByteDance Seed Project（字节跳动种子项目） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 LightFusion通过双融合机制实现轻量级多模态理解和生成，仅用350亿个标记训练即在多个基准测试中取得优异成绩。

Comments Preprint. Work in progress

UGG-ReID: Uncertainty-Guided Graph Model for Multi-Modal Object Re-Identification

Xixi Wan, Aihua Zheng, Bo Jiang, Beibei Wang, Chenglong Li, Jin Tang

机构 * Information Materials and Intelligent Sensing Laboratory of Anhui Province, School of Artificial Intelligence, Anhui University（安徽省信息材料与智能感知实验室，人工智能学院，安徽大学） ； Anhui Provincial Key Laboratory of Multimodal Cognitive Computation, School of Computer Science and Technology, Anhui University（安徽省多模态认知计算重点实验室，计算机科学与技术学院，安徽大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

VADB: A Large-Scale Video Aesthetic Database with Professional and Multi-Dimensional Annotations

Qianqian Qiao, DanDan Zheng, Yihang Bo, Bao Peng, Heng Huang, Longteng Jiang, Huaye Wang, Jingdong Chen, Jun Zhou, Xin Jin

机构 * Nanjing University（南京大学） ； Huazhong University of Science and Technology（华中科技大学） ； Beijing Film Academy（北京电影学院） ； University of Science and Technology of China（中国科学技术大学） ； Beijing Electronic Science and Technology Institute（北京电子科技学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

NeuroLingua: A Language-Inspired Hierarchical Framework for Multimodal Sleep Stage Classification Using EEG and EOG

Mahdi Samaee, Mehran Yazdi, Daniel Massicotte

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.SP

Token Painter: Training-Free Text-Guided Image Inpainting via Mask Autoregressive Models

Longtao Jiang, Jie Huang, Mingfei Han, Lei Chen, Yongqiang Yu, Feng Zhao, Xiaojun Chang, Zhihui Li

专题命中 融合架构与评测 ：information fusion(abstract)；分类 cs.CV

Medical Referring Image Segmentation via Next-Token Mask Prediction

Xinyu Chen, Yiran Wang, Gaoyang Pang, Jiafu Hao, Chentao Yue, Luping Zhou, Yonghui Li

机构 * School of Electrical and Computer Engineering, University of Sydney（悉尼大学电气与计算机工程学院） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

Comments This work has been submitted to the IEEE Transactions on Medical Imaging for possible publication

Evaluating the Impact of Weather-Induced Sensor Occlusion on BEVFusion for 3D Object Detection

Sanjay Kumar, Tim Brophy, Eoin Martino Grua, Ganesh Sistu, Valentina Donzella, Ciaran Eising

机构 * Dept. of Electronic and Computer Engineering and the Data Driven Computer Engineering Research Centre, University of Limerick（电子与计算机工程系和数据驱动计算机工程研究中心，利默里克大学） ； Valeo Vision Systems（瓦莱欧视觉系统） ； Queen Mary University of London（伦敦女王大学） 纠错

专题命中 融合架构与评测 ：sensor fusion(abstract)；分类 cs.CV

EMHI: A Multimodal Egocentric Human Motion Dataset with HMD and Body-Worn IMUs

Zhen Fan, Peng Dai, Zhuo Su, Xu Gao, Zheng Lv, Jiarui Zhang, Tianyuan Du, Guidong Wang, Yang Zhang

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

NMCSE: Noise-Robust Multi-Modal Coupling Signal Estimation Method via Optimal Transport for Cardiovascular Disease Detection

Peihong Zhang, Zhixin Li, Rui Sang, Yuxuan Liu, Yiqiang Cai, Yizhou Tan, Shengchen Li

机构 * School of Advanced Technology, Xi’an Jiaotong-Liverpool University（先进技术学院，西安交通大学利物浦大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 eess.SP

Improving Classification of Occluded Objects through Scene Context

Courtney M. King, Daniel D. Leeds, Damian Lyons, George Kalaitzis

机构 * Fordham University Department of Computer Science（福特汉姆大学计算机科学系） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)；分类 cs.CV

Action Quality Assessment via Hierarchical Pose-guided Multi-stage Contrastive Regression

Mengshi Qi, Hao Ye, Jiaxuan Peng, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, China（网络与交换技术国家重点实验室，北京邮电大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

Occluded nuScenes: A Multi-Sensor Dataset for Evaluating Perception Robustness in Automated Driving

Sanjay Kumar, Tim Brophy, Reenu Mohandas, Eoin Martino Grua, Ganesh Sistu, Valentina Donzella, Ciaran Eising

机构 * University of Limerick（利默里克大学） ； Data Driven Computer Engineering Research Centre（数据驱动计算机工程研究中心） ； Lero, The Irish Software Research Centre（Lero爱尔兰软件研究中心） ； Valeo Vision Systems（Valéo视觉系统） ； Queen Mary University of London（伦敦女王学院） 纠错

专题命中 融合架构与评测 ：sensor fusion(abstract)；分类 cs.CV

UniHPR: Unified Human Pose Representation via Singular Value Contrastive Learning

Zhongyu Jiang, Wenhao Chai, Lei Li, Zhuoran Zhou, Cheng-Yen Yang, Jenq-Neng Hwang

机构 * University of Washington（华盛顿大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning

Mattia Segu, Marta Tintore Gazulla, Yongqin Xian, Luc Van Gool, Federico Tombari

机构 * Google（谷歌） ； ETH Zurich（苏黎世联邦理工学院） ； INSAIT, Sofia University, St. Kliment Ohridski（INSAIT，索菲亚大学，圣克莱孟·奥赫里茨基） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

Comments ICCV 2025

Explainable Deep Neural Network for Multimodal ECG Signals: Intermediate vs Late Fusion

Timothy Oladunni, Ehimen Aneni

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.SP

Evaluation of a Robust Control System in Real-World Cable-Driven Parallel Robots

Damir Nurtdinov, Aliaksei Korshuk, Alexei Kornaev, Alexander Maloletov

机构 * Research Center of the Artificial Intelligence Institute（人工智能研究所研究中心） ； Innopolis University（因诺波利斯大学） ； Coframe ； California, USA（加州，美国） ； Volgograd State Technical University（伏尔加格州技术大学） 纠错

专题命中 融合架构与评测 ：sensor fusion(abstract)；分类 cs.RO

GazeProphet: Software-Only Gaze Prediction for VR Foveated Rendering

Farhaan Ebadulla, Chiraag Mudlapur, Gaurav BV

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

Comments 8 pages, 3 figures

Beyond Appearance: Transformer-based Person Identification from Conversational Dynamics

Masoumeh Chapariniya, Teodora Vukovic, Sarah Ebling, Volker Dellwo

机构 * Department of Computational Linguistics, University of Zurich, Zurich, Switzerland（计算语言学系，苏黎世大学，苏黎世，瑞士） 纠错

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 cs.CV

Enhancing Polyp Segmentation via Encoder Attention and Dynamic Kernel Update

Fatemeh Salahi Chashmi, Roya Sotoudeh

机构 * Faculty of New Sciences and Technologies, University of Tehran, Tehran, Iran（新科学与技术学院，德黑兰大学，德黑兰，伊朗） ； Department of Electrical Engineering, Urmia University, Urmia, Iran（电气工程系，乌尔米耶大学，乌尔米耶，伊朗） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)；分类 cs.CV