多模态信息融合

HiDrop: Hierarchical Vision Token Reduction in MLLMs via Late Injection, Concave Pyramid Pruning, and Early Exit

HiDrop：通过晚期注入、凹形金字塔剪枝和早期退出实现MLLM中的层次视觉令牌减少

Hao Wu, Yingqi Fan, Jinyang Dai, Junlong Tong, Yunpu Ma, Xiaoyu Shen

机构 * Institute of Digital Twin, Eastern Institute of Technology（数字孪生研究所，东部技术研究所） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Munich Center for Machine Learning, LMU Munich（慕尼黑大学机器学习中心，慕尼黑大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 HiDrop通过晚期注入、凹形金字塔剪枝和早期退出机制，实现多模态大语言模型中视觉令牌的高效减少，提升训练效率并保持性能。

Comments Accepted to ICLR 2026

Countering Multi-modal Representation Collapse through Rank-targeted Fusion

通过秩目标融合对抗多模态表示崩溃

Seulgi Kim, Kiran Kokilepersaud, Mohit Prabhushankar, Ghassan AlRegib

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 本文提出Rank-enhancing Token Fuser框架，通过提升有效秩对抗多模态表示崩溃，验证了深度与RGB融合的平衡性，并在动作预测任务中取得显著性能提升。

Comments Accepted in 2026 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)

VETime: Vision Enhanced Zero-Shot Time Series Anomaly Detection

VETime: 基于视觉增强的零样本时间序列异常检测

Yingyuan Yang, Tian Lan, Yifei Gao, Yimeng Lu, Wenjun He, Meng Wang, Chenghao Liu, Chen Zhang

机构 * Department of Industrial Engineering, Tsinghua University, Beijing, China（清华大学工业工程系） ； Lab, Huawei Technologies Ltd, Beijing, China（华为技术有限公司2012实验室） ； Datadog AI Research（Datadog人工智能研究） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 VETime通过融合视觉与时间模态，提出零样本时间序列异常检测框架，实现高精度定位与低计算开销。

EPRBench: A High-Quality Benchmark Dataset for Event Stream Based Visual Place Recognition

EPRBench: 一种高质量的基于事件流的视觉位置识别基准数据集

Xiao Wang, Xingxing Xiong, Jinfeng Gao, Xufeng Lou, Bo Jiang, Si-bao Chen, Yaowei Wang, Yonghong Tian

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Shenzhen Graduate School, Peking University（北京大学深圳研究生院） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 EPRBench提出了一种高质量的基于事件流的视觉位置识别基准数据集，结合LLM生成场景描述与多模态融合方法，提升位置识别的准确性和模型透明度。

Enhancing Weakly Supervised Multimodal Video Anomaly Detection through Text Guidance

通过文本引导增强弱监督多模态视频异常检测

Shengyang Sun, Jiashen Hua, Junyi Feng, Xiaojin Gong

机构 * School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院） ； Alibaba Cloud（阿里云） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出文本引导框架，通过多阶段文本增强和多尺度瓶颈Transformer融合模块，提升弱监督多模态视频异常检测的性能。

Comments Accepted by IEEE Transactions on Multimedia

CMANet: Channel-Masked Attention Network for Cooperative Multi-Base-Station 3D Positioning

CMANet：基于合作多基站3D定位的通道掩码注意力网络

Tong An, Huan Lu, Jiayang Shi, Kai Yu, Rongrong Zhu, Bin Zheng, Jiwei Zhao, Haibo Zhou

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 eess.SP

AI总结 CMANet通过通道掩码注意力机制和轻量级LSTM解码器实现多基站协作的高精度3D定位，实验显示其在城市环境中具有优于现有方法的定位精度。

Comments 6pages, 6 figures

Radiomics in Medical Imaging: Methods, Applications, and Challenges

医学影像中的放射组学：方法、应用与挑战

Fnu Neha, Deepak kumar Shukla

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.IV

AI总结 本文系统分析了放射组学的全流程，探讨了特征稳定性、模型可靠性及临床转化有效性，并提出了标准化、领域转移和临床部署等未来研究方向。

Understanding Multimodal Complementarity for Single-Frame Action Anticipation

理解单帧动作预测中的多模态互补性

Manuel Benavent-Lledo, Konstantinos Bacharidis, Konstantinos Papoutsakis, Antonis Argyros, Jose Garcia-Rodriguez

机构 * Department of Computer Technology, University of Alicante（阿尔瓦雷斯大学计算机技术系） ； Institute of Computer Science, FORTH（福蒂研究所） ； Computer Science Department, University of Crete（克里特大学计算机科学系） ； Department of Management, Science and Technology, Hellenic Mediterranean University（希腊地中海大学管理、科学与技术系） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本研究通过单帧动作预测框架AAG+，探索多模态互补性对动作预测的影响，验证单帧信息在动作预测中的有效性。

Vehicular Wireless Positioning -- A Survey

车辆无线定位——综述

Sharief Saleh, Satyam Dwivedi, Russ Whiton, Peter Hammarberg, Musa Furkan Keskin, Julia Equi, Hui Chen, Florent Munier, Olof Eriksson, Fredrik Gunnarsson, Fredrik Tufvesson, Henk Wymeersch

专题命中 融合架构与评测 ：sensor fusion(abstract)；分类 eess.SP

AI总结 本文综述了车辆应用中无线定位技术的发展、现状及未来方向，涵盖卫星、蜂窝及IEEE标准技术，分析了定位需求、技术演变和传感器融合方法。

Comments Under review at IEEE Communications Surveys & Tutorials

Arabic Sign Language Recognition using Multimodal Approach

阿拉伯手语识别的多模态方法

Ghadeer Alanazi, Abir Benabid

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出结合Leap Motion和RGB摄像头的多模态方法，用于提高阿拉伯手语识别的准确率，实验结果显示78%的识别准确率。

REL-SF4PASS: Panoramic Semantic Segmentation with REL Depth Representation and Spherical Fusion

REL-SF4PASS：基于REL深度表示和球形融合的全景语义分割

Xuewei Li, Xinghan Bao, Zhimin Chen, Xi Li

机构 * School of Electronic and Information Engineering, Shanghai DianJi University（电子信息学院，上海电机大学） ； College of Computer Science and Technology, Zhejiang University（计算机科学与技术学院，浙江大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 REL-SF4PASS通过REL深度表示和球形动态多模态融合方法，提升全景语义分割的性能和鲁棒性。

Comments submitted to CVPR 2026

Coupled Physics-Gated Adaptation: Spatially Decoding Volumetric Photochemical Conversion in Complex 3D-Printed Objects

耦合物理门控适应：在复杂3D打印物体中空间解码体积分子转换

Maryam Eftekharifar, Churun Zhang, Jialiang Wei, Xudong Cao, Hossein Heidari

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出耦合物理门控适应方法，通过空间解码实现复杂3D打印物体中体积分子转换的预测。

Sub-Region-Aware Modality Fusion and Adaptive Prompting for Multi-Modal Brain Tumor Segmentation

子区域感知模态融合与自适应提示的多模态脑肿瘤分割

Shadi Alijani, Fereshteh Aghaee Meibodi, Homayoun Najjaran

机构 * University of Victoria, BC, Canada（维多利亚大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 本文提出子区域感知模态融合与自适应提示方法，提升多模态脑肿瘤分割的准确性与鲁棒性。

Exploring Reliable Spatiotemporal Dependencies for Efficient Visual Tracking

探索可靠的空间时间依赖性以实现高效的视觉跟踪

Junze Shi, Yang Yu, Jian Shi, Haibo Luo

专题命中 融合架构与评测 ：information fusion(abstract)；分类 cs.CV

AI总结 STDTrack通过引入可靠的时空依赖性，提升轻量级视觉跟踪的效率和性能，在多个基准测试中取得最佳结果。

Comments 8 pages, 6 figures

Journal ref AAAI2026

PARL: Position-Aware Relation Learning Network for Document Layout Analysis

PARL：面向文档布局分析的位置感知关系学习网络

Fuyuan Liu, Dianyu Yu, He Ren, Nayu Liu, Xiaomian Kang, Delai Qiu, Fa Zhang, Genpeng Zhen, Shengping Liu, Jiaen Liang, Wei Huang, Yining Wang, Junnan Zhu

机构 * Unisound AI Technology Co.Ltd（Unisound人工智能技术有限公司） ； MAIS, Institute of Automation, CAS（MAIS，自动化研究所，中国科学院） ； Beihang University（北航） ； School of Computer Science and Technology, Tiangong University（天工大学计算机科学与技术学院） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 PARL提出一种无OCR的纯视觉框架，通过位置敏感性和关系结构建模文档布局，实现高效且鲁棒的布局分析。

Arithmetic Average Density Fusion -- Part IV: Distributed Heterogeneous Fusion of RFS and LRFS Filters via Variational Approximation

算术平均密度融合——第四部分：通过变分近似实现RFS和LRFS滤波器的分布式异构融合

Tiancheng Li, Haozhe Liang, Guchong Li, Jesús García Herrero, Quan Pan

专题命中 融合架构与评测 ：information fusion(abstract)；分类 eess.SP

AI总结 本文提出基于变分近似的分布式异构融合方法，实现RFS与LRFS滤波器的协同跟踪，通过平均PHD达成共识，适用于同构和异构多传感器场景。

Comments 13 pages,14 figures

Journal ref IEEE Transactions on Signal Processing, vol. 73, pp. 1454-1469, 2025

TF-Mamba: Text-enhanced Fusion Mamba with Missing Modalities for Robust Multimodal Sentiment Analysis

具有缺失模态的文本增强融合Mamba用于鲁棒多模态情感分析

Xiang Li, Xianfu Cheng, Dezhuang Miao, Xiaoming Zhang, Zhoujun Li

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.MM

AI总结 TF-Mamba通过文本增强融合框架，有效处理多模态情感分析中缺失模态的问题，提升模型鲁棒性和效率。

S2Vec: Self-Supervised Geospatial Embeddings for the Built Environment

S2Vec: 自监督的建成环境地理嵌入

Shushman Choudhury, Elad Aharoni, Chandrakumari Suvarna, Iveel Tsogsuren, Abdul Rahman Kreidieh, Chun-Ta Lu, Neha Arora

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 S2Vec通过自监督学习生成通用的地理空间嵌入，适用于建成环境特征的表示，并在社会经济任务中表现优异，同时支持多模态融合提升性能。

Journal ref ACM Transactions on Spatial Algorithms and Systems 2026

Transparent and Resilient Activity Recognition via Attention-Based Distributed Radar Sensing

通过基于注意力的分布式雷达感知实现透明且稳健的活动识别

Mina Shahbazifar, Zolfa Zeinalpour-Yazdi, Matthias Hollick, Arash Asadi, Vahid Jamali

专题命中 融合架构与评测 ：information fusion(abstract)；分类 eess.SP

AI总结 本文提出一种基于注意力的分布式雷达感知框架，通过轻量CNN提取局部特征并结合自注意力融合机制，实现高效透明的人体活动识别。

System-Level Comparison of Multimodal and In-Band mmWave Sensing for Beam Prediction in 6G ISAC

6G ISAC中多模态与带内毫米波感知的系统级比较：用于基站预测

Abidemi Orimogunje, Hyunwoo Park, Igbafe Orikumhi, Sunwoo Kim, Dejan Vukobratovic

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.SP

AI总结 本文提出了一种系统级框架，通过多模态融合评估毫米波与体外传感器在6G ISAC中的波束预测性能。

Decoupling Amplitude and Phase Attention in Frequency Domain for RGB-Event based Visual Object Tracking

频域中解耦幅度与相位注意力以实现RGB-事件视觉目标跟踪

Shiao Wang, Xiao Wang, Haonan Zhao, Jiarui Xu, Bo Jiang, Lin Zhu, Xin Zhao, Yonghong Tian, Jin Tang

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； Northeastern University（东北大学） ； Beijing Institute of Technology（北京理工大学） ； School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院） ； Peng Cheng Laboratory（鹏城实验室） ； National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（北京大学多媒体信息处理国家重点实验室） ； School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院） 纠错

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 cs.CV

AI总结 本文提出了一种在频域中解耦幅度与相位注意力的RGB-事件视觉目标跟踪方法，通过高频信息融合和运动引导稀疏化模块提升跟踪性能和效率。

Patch as Node: Human-Centric Graph Representation Learning for Multimodal Action Recognition

补丁作为节点：面向多模态动作识别的人本图表示学习

Zeyu Liang, Hailun Xia, Naichuan Zheng

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出PAN框架，通过人本图表示学习提升多模态动作识别性能，结合双路径和统一网络结构实现高效融合。

GPF-Net: Gated Progressive Fusion Learning for Polyp Re-Identification

GPF-Net：门控渐进融合学习用于息肉重识别

Suncheng Xiang, Xiaoyang Wang, Junjie Jiang, Hejia Wang, Dahong Qian

机构 * Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Shanghai Fifth People's Hospital（上海第五人民医院） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 GPF-Net通过门控渐进融合学习提升息肉重识别性能，结合多模态融合策略优于现有单模态模型。

Comments Work in progress

Bridging Modalities and Transferring Knowledge: Enhanced Multimodal Understanding and Recognition

弥合模态与知识转移：增强多模态理解和识别

Gorjan Radevski

机构 * University of Bristol（布里斯托大学） ； University of Würzburg（乌尔姆大学） ； Processing Speech and Images (PSI)（语音与图像处理组） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出多模态对齐、翻译、融合和转移方法，提升复杂输入的理解与识别能力，涵盖空间语言、医学文本、知识图谱和动作识别等多个领域。

Comments Ph.D. manuscript; Supervisors/Mentors: Marie-Francine Moens and Tinne Tuytelaars

A Deep Learning-based Multimodal Depth-Aware Dynamic Hand Gesture Recognition System

基于深度学习的多模态深度感知动态手部姿态识别系统

Hasan Mahmud, Mashrur M. Morshed, Md. Kamrul Hasan

机构 * Systems \& Software Lab (SSL), Department of Computer Science 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出了一种基于深度学习的多模态深度感知动态手部姿态识别系统，通过量化深度值和改进多模态融合CRNN架构，提高了识别准确性和参数效率。

Journal ref The Visual Computer, Springer Nature, January 2024

Multimodal classification of forest biodiversity potential from 2D orthophotos and 3D airborne laser scanning point clouds

基于2D正射影像和3D空中激光扫描点云的森林生物多样性潜力多模态分类

Simon B. Jensen, Stefan Oehmcke, Andreas Møgelmose, Meysam Madadi, Christian Igel, Sergio Escalera, Thomas B. Moeslund

机构 * Perception Laboratory, Aalborg University, Denmark ； Pioneer Centre for Artificial Intelligence, Denmark ； Department of Computer Science, Copenhagen University, Denmark ； Institute for Visual \& Analytic Computing, Rostock University, Germany ； University of Barcelona ； Computer Vision Center, Spain 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本研究利用2D正射影像和3D ALS点云数据，通过多模态深度学习融合方法，实现对森林生物多样性潜力的高效评估，实验结果达到82%的准确率。

A Review of Machine Learning for Cavitation Intensity Recognition in Complex Industrial Systems

机械系统中空化强度识别的机器学习综述

Yu Sha, Ningtao Liu, Haofeng Liu, Junqi Tao, Zhenxing Niu, Guojun Huang, Yao Yao, Jiaqi Liang, Moxian Qian, Horst Stoecker, Domagoj Vnucec, Andreas Widl, Kai Zhou

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 eess.SP

AI总结 本文综述了机械系统中空化强度识别的机器学习发展，强调传统方法与深度学习的演变，并展望未来在多源数据处理和工业应用中的发展方向。

Comments 43 pages

LENVIZ: A High-Resolution Low-Exposure Night Vision Benchmark Dataset

LENVIZ：一个高分辨率低曝光夜视基准数据集

Manjushree Aithal, Rosaura G. VidalMata, Manikandtan Kartha, Gong Chen, Eashan Adhikarla, Lucas N. Kirsten, Zhicheng Fu, Nikhil A. Madhusudhana, Joe Nasti

机构 * Lenovo Research（联想研究） ； Lehigh University（莱文斯顿大学） ； Motorola Mobility（摩托罗拉移动） 纠错

专题命中 融合架构与评测 ：multi-exposure(abstract)；分类 cs.CV

AI总结 LENVIZ数据集为低光照图像增强提供高分辨率、多曝光的基准，包含24,000个真实场景，由专家摄影师精心制作，用于评估和改进相关技术。

From Cells to Survival: Hierarchical Analysis of Cell Inter-Relations in Multiplex Microscopy for Lung Cancer Prognosis

从细胞到生存：多乘 microscopy 中细胞互相关系的分层分析用于肺癌预后

Olle Edgren Schüllerqvist, Jens Baumann, Joakim Lindblad, Love Nordling, Artur Mezheyeuski, Patrick Micke, Nataša Sladoje

机构 * Department of Information Technology, SciLifeLab, Uppsala University（信息科技系、SciLifeLab、乌普萨拉大学） ； PAICON GmbH（PAICON公司） ； Department of Immunology, Genetics and Pathology, Uppsala University（免疫学、遗传学和病理学系、乌普萨拉大学） ； Molecular Oncology Group, Vall d'Hebron Institute of Oncology（分子肿瘤学组、瓦伦·德·霍布伦肿瘤研究所） ； Vall d'Hebron Institute of Research（瓦伦·德·霍布伦研究所） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 HiGINE通过多光谱免疫荧光图像分析肿瘤微环境，利用分层图方法预测肺癌患者生存并提升风险分层。

Comments 5 pages, 3 figures

Why Nonlinear Models Matter: Unified Analysis of Cognitive Load, Stress, and Exercise Using Wearable Physiological Signals

非线性模型的重要性：利用可穿戴生理信号统一分析认知负荷、压力和运动

Khondakar Ashik Shahriar

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.SP

AI总结 本研究通过非线性模型统一分析认知负荷、压力和运动，证明生理状态识别的本质非线性，并建立了统一的基准以指导更稳健的可穿戴健康监测系统发展。

Comments 28 pages, 8 tables, 13 figures