多模态信息融合

Neuromorphic Object Detection: An In-Depth Study and Future Directions

神经形态目标检测：深入研究与未来方向

Jianing Li, Dianze Li, Arren Glover, Xiaopeng Fan, Guoqi Li, Chiara Bartolozzi, Ryad B. Benosman, Yonghong Tian

机构 * Peking University（北京大学） ； Peng Cheng Laboratory（鹏城实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Chinese Academy of Sciences（中国科学院） ； Italian Institute of Technology（意大利理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Pittsburgh（匹兹堡大学） ； Sorbonne Université（索邦大学） ； INSERM（法国国家健康与医学研究院） ； CNRS（法国国家科学研究中心） ； Institut de la Vision（视觉研究所） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 针对传统相机在特定条件下目标检测的挑战，本文对神经形态目标检测算法进行全面调查和基准测试，从多视角探索现有方法，评估多种模型并分析结果，讨论未解决问题，为该领域研究提供资源与方向。

Comments Accepted by Proceedings of the IEEE

MAGE-Vein: Multi-Instance Age and Gender Estimation from Finger Vein Images

MAGE-Vein：从手指静脉图像进行多实例年龄和性别估计

Katsuki Tanaka, Koichi Ito, Takafumi Aoki, Masakazu Fujio, Yosuke Kaga, Kanade Oshima, Kenta Takahashi

机构 * Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院） ； Hitachi, Ltd.（日立有限公司） 纠错

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 cs.CV

AI总结 针对手指静脉图像年龄估计难题，提出MAGE-Vein多实例多任务学习框架，通过混合特征级融合提取衰老特征并抑制噪声，结合性别分类优化消除血管差异，在平衡数据集上取得良好效果，推翻传统认知。

Comments accepted to IJCB2026

Ocular Verification for Virtual Reality

虚拟现实中的眼部验证

Husanpreet Singh, Robert Tran, Ayushree Kharel, Sudipta Banerjee

机构 * University of Wyoming（怀俄明大学） ； San Diego State University（圣地亚哥州立大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 研究虚拟现实中眼部验证，评估虹膜质量指标局限性，用生成模型应对数据挑战，进行单模态与多模态识别及融合，发现部分指标在VR数据上失效，图像调整利于眼周识别，多模态融合降低错误接受率。

EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation

EmoEUS：对话中多模态情感识别的不确定性监督

Zilong Huang, Kong Aik Lee, Junjie Li, Zhe Li, Man-Wai Mak

机构 * Dept. of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电子与电气工程系） ； Speech, Language, and Cognition Laboratory, The University of Hong Kong（香港大学语音、语言与认知实验室） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.MM

AI总结 研究对话中多模态情感识别，提出EmoEUS框架，通过动态加权模态执行不确定性感知多模态融合，并引入显式监督损失，实验证明该框架优于现有方法。

Comments Accept by Interspeech 2026

BanClickThumb: A Multimodal Dataset and Transformer Fusion Benchmarks for Clickbait Detection in Bengali YouTube Videos

BanClickThumb：用于孟加拉语YouTube视频中标题党检测的多模态数据集和Transformer融合基准测试

Md. Ariful Islam, Md Tanvirul Islam, Md. Maruf Hossain Miru, Md Khalid Syfullah

机构 * Department of Computer Science and Engineering, Bangladesh Army University of Science and Technology（孟加拉国陆军科技大学计算机科学与工程系） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 针对孟加拉语YouTube视频标题党检测，公开多模态数据集BanClickThumb，用其对单模态和多模态方法进行基准测试，提出多模态模型BanClickFusionFormer，结合ViT和XLM - RoBERTa，证明多模态融合有效性，提供基准支持低资源多模态内容分析研究。

The 2nd International StepUP Competition for Biometric Footstep Recognition: From Steps to Strides

第二届生物特征足迹识别国际StepUP竞赛：从单步到跨步

Robyn Larracy, Anant Gupta, Gourav Gupta, Ethan Eddy, Maxime Devanne, Cyril Meyer, Jin-Chern Chiou, Yueh-Shan Lee, Zong-Han Lu, Aaron Tabor, Erik Scheme

机构 * University of New Brunswick（新不伦瑞克大学） ； ArogyaPandit Private Limited（阿罗吉亚潘迪特私人有限公司） ； Institute of Electrical and Control Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学电气与控制工程研究所） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)；分类 cs.CV

AI总结 第二届生物特征足迹识别国际StepUP竞赛利用大规模数据集应对三项关键挑战，吸引26个注册者。ArogyaPandit研究团队用时空卷积神经网络结合集成评分策略获8.00%最佳等错误率，顶级方案展示相关策略价值，不过识别未知个人鞋类用户仍具挑战。

Comments Accepted to the 2026 IEEE International Joint Conference on Biometrics (IJCB)

HSEmotion Team at the 11th ABAW Challenge: Multi-Task Learning and Ambivalence/Hesitancy Video Recognition

第11届ABAW挑战赛中的HSEmotion团队：多任务学习与矛盾/犹豫视频识别

Aleksei Bakin, Andrey V. Savchenko

机构 * Central University（中央大学） ； Sber AI Lab（Sber人工智能实验室） ； HSE University（俄罗斯高等经济研究大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 在第11届ABAW挑战赛中，团队用冻结轻量级面部提取器等方法进行多任务学习，在s - Aff - Wild2数据集上超ConvNeXt基线；扩展视听管道用于矛盾/犹豫视频识别，在BAH数据集上提升性能，无需微调重型骨干，展示了轻量级融合的优势。

Comments to be submitted to ABAW-11 workshop of ECCV 2026

Multimodal EEG-IMU Fusion for Motor Assessment: Leveraging Task-Dependent Complementarity for Robustness

用于运动评估的多模态脑电-惯性测量单元融合：利用任务相关互补性提高鲁棒性

Zhenan Yin, Lalitha Pranathi Pulavarthy, Saptarshi Purkayastha

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.SP

AI总结 研究针对运动障碍评估中多传感模式整合不足问题，通过同步记录脑电-惯性测量单元数据，评估特定任务模态性能和多模态融合。结果表明脑电和惯性测量单元各有优势，后期融合可利用互补性提高评估可靠性，为大规模临床验证提供依据。

Edge-Assisted Multimodal UAV Localization with Resource-Efficient Compression and Robust Fusion

基于资源高效压缩和鲁棒融合的边缘辅助多模态无人机定位

Zhong Ye, Yinghui He, Guanding Yu, Pavel Loskot

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.SP

AI总结 设计多模态无人机定位框架，利用相机、LiDAR和雷达传感模态。通过信息瓶颈压缩等模块应对传感节点资源有限、数据差异大及模态数据退化缺失等挑战，实验表明该框架能准确可靠定位无人机。

EgoInertia-MI: A Multimodal Egocentric Vision and IMU Benchmark for Motor Impairment Assessment

EgoInertia-MI：用于运动障碍评估的多模态自我中心视觉与惯性测量单元基准测试

Fatemah Alhamdoosh, Pietro Pala, Abduallah Mohamed, DK Arvind

机构 * University of Florence（佛罗伦萨大学） ； Meta Reality Labs（元现实实验室） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 研究针对运动障碍评估，结合自我中心视觉与惯性测量单元信号创建EgoInertia-MI数据集，设动作识别等任务并评估基线，发现多模态融合性能最佳，凸显两者结合用于运动评估的潜力。

RESOLVE: A Multi-Resolution and Multi-Modal Dataset for Roadside Cooperative Perception

RESOLVE：用于路边协同感知的多分辨率多模态数据集

Shaozu Ding, Linan Song, Marco De Vincenzi, Dajiang Suo

机构 * The Polytechnic School, Arizona State University（亚利桑那州立大学理工学院） ； Department of Computer Science and Engineering, New York University（纽约大学计算机科学与工程系） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出RESOLVE数据集，包含多分辨率LiDAR和相机-LiDAR同步数据，用于评估路边3D检测与跟踪中的单模态与融合架构，揭示多模态融合如何补偿LiDAR点稀疏性。

Comments Accepted to ECCV 2026. Including supplementary material

Active Adversarial Perturbation-driven Associative Memory Retrieval for RGB-Event Visual Object Tracking

主动对抗扰动驱动的关联记忆检索用于RGB-事件视觉目标跟踪

Xiao Wang, Xufeng Lou, Zikang Yan, Lan Chen, Sibao Chen, Yaowei Wang, Yonghong Tian, Jin Tang

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； School of Electronic and Information Engineering, Anhui University（安徽大学电子信息工程学院） ； Peng Cheng Laboratory（鹏城实验室） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； School of Computer Science, Peking University（北京大学计算机学院） ； School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 提出APRTrack框架，通过分层对抗扰动模拟模态退化与局部缺失，并设计足迹引导的通道校准Hopfield检索实现鲁棒的历史信息补偿，在多个数据集上验证了有效性。

Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models

基于可微搜索的视觉基础模型层特定提示融合发现

Xi Xiao, Xingjian Li, Yunbei Zhang, Cheng Han, Tianming Liu, Tianyang Wang, Runmin Jiang, Jihun Hamm, Xiao Wang, Min Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； CMU（卡内基梅隆大学） ； Tulane（杜兰大学） ； UMKC（密苏里大学堪萨斯分校） ； UGA（佐治亚大学） ； ORNL（橡树岭国家实验室） 纠错

专题命中 融合架构与评测 ：hybrid fusion(abstract)；分类 cs.CV

AI总结 研究视觉提示微调中提示与图像令牌的融合方案，提出可微架构搜索方法联合优化可学习提示及其融合方式，在34个数据集上取得一致提升。

Comments ECCV 2026

Geometry-Aware Superpixel Graph Transformer with Metadata for Skin Lesion Classification

几何感知超像素图变换器结合元数据用于皮肤病变分类

Muhammad Azeem, Tanveer Hussain, Amr Ahmed, Ardhendu Behera

机构 * Edge Hill University（埃奇希尔大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出一种基于区域的图学习框架，将病变建模为超像素图，利用几何边属性和元数据上下文节点，通过边缘感知图变换器实现多模态融合，在四个公开数据集上取得优于现有方法的分类性能。

Comments Accepted at MICCAI 2026

Heterogeneous and Adept Snapshot Distillation for 3D Semantic Segmentation

异构与专长快照蒸馏用于3D语义分割

Xiaopei Wu, Yuenan Hou, Junkai Xu, Wenxiao Wang, Binbin Lin, Yu Li, Ping Li, Haifeng Liu, Deng Cai, Wanli Ouyang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 提出异构和专长快照知识蒸馏（HAS-KD），通过信息导向异构蒸馏（IHD）和专长快照蒸馏（ASD）将多模态模型和多个模型专家的知识高效迁移到点云网络，在ScanNetV2和S3DIS上取得最先进结果。

Comments 11 pages

A Systematic Survey on Event Camera Representation Learning

事件相机表示学习系统综述

Hongwei Ren, Youxin Jiang, Tuopusen Huang, Xiangqian Wu

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.IV

AI总结 综述从原始事件流转换为可学习表示的角度，分类梳理了基于密集和稀疏表示的方法，分析其在结构规则性、时间保真度、稀疏保持和架构兼容性上的权衡，并总结基准与未来方向。

Comments Under Review

HERO: Hypothesis-Driven Evidence Retrieval from Omics for Multi-Task Breast Cancer Analysis

HERO：基于假设驱动的组学证据检索用于多任务乳腺癌分析

Xiangyu Li, Ran Su

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出HERO框架，将组学数据作为形态学假设进行显式检索，通过稀疏通路先验和TF-IDF检索实现可审计的多模态乳腺癌分析，在TCGA-BRCA上取得多项预测任务的最优结果。

Comments 11 pages, 3 figures, Early accepted at MICCAI 2026

An approach with Visual and Tabular Mamba to multimodal medical data using Mixed Fusion

一种基于视觉和表格Mamba的混合融合多模态医疗数据方法

Matheus B. Rocha, Gustavo B. Dettogni, Renato A. Krohling

机构 * Labcin - Nature Inspired Computing Lab, Federal University of Esp\'irito Santo, Vit\'oria, Brazil PPGI - Graduate Program in Computer Science, Federal University of Esp\'irito Santo, Vit\'oria, Brazil 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出基于Mamba架构的混合融合方法，通过视觉和表格两种Mamba变体处理图像与临床数据，在癌症分类中实现可解释性，在NDB-UFES数据集上表现优于Transformer。

Comments 15 pages. accepted to 36th Brazilian Conference on Intelligent Systems

OlfactProfile: Profile-Conditioned Odor Prediction from Audiovisual Content

OlfactProfile: 基于用户嗅觉特征从视听内容预测气味

Zhengyu Lou, Bosheng Qin, Yanan Wang, Duanduan Yin, Wentao Ye, Yu Xin

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.MM

AI总结 提出OlfactProfile框架，通过结构化场级用户嗅觉特征调制，实现从视听内容预测气味，优于基线模型和通用多模态大模型，在背景气味和情感气味预测上提升显著。

Comments 10 pages, 5 figures

Spatio-Temporal Fusion Model for Standard View Classification of Echocardiographic Videos

超声心动图视频标准视图分类的时空融合模型

Bo Gou, Jicheng Zhang, Jianlong Xiong, Tao He, Bentian Liu, Hai Wu, Yijiao Wang, Yu Zhang, Yujia Yang, Yun Dai, Jian Liu, Jie Wang

机构 * Department of Ultrasound, The First Affiliated Hospital of Chengdu Medical College, School of Clinical Medicine, Chengdu Medical College（成都医学院第一附属医院超声科，临床医学院） ； College of Computer Science, Sichuan University（四川大学计算机学院） ； Department of Medical Ultrasound, West China Hospital of Sichuan University（四川大学华西医院超声科） ； Cancer Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College（中国医学科学院北京协和医学院肿瘤医院） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)；分类 cs.CV

AI总结 针对超声心动图视图分类中数据稀缺、时空特征难以融合的问题，提出基于不确定性感知的CNN-LSTM双流融合模型，在最大公开数据集EV9V上取得竞争性能。

A Comparative and Hybrid Study of CNN and Transformer Models for Multi-Class Virus Classification in Transmission Electron Microscopy

CNN与Transformer模型在透射电子显微镜多类病毒分类中的比较与混合研究

Md Mahmudul Hoque, Md Kawser Islam, Md. Mamunur Rahman Moon, Abdullah Rakib Akand, Md. Hadi Al-amin, H. M. Azrof

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 eess.IV

AI总结 本研究比较了CNN和Transformer模型在TEM图像中22类病毒分类的性能，通过加权交叉熵缓解类别不平衡，Swin Transformer表现最佳，混合策略进一步提升了宏F1分数。

Comments 10 pages, 10 figures. Accepted on Springer LNCS Conference ICTIS 2026, Thailand

Journal ref Springer LNCS Conference ICTIS 2026, Thailand

Conformal Fusion Under Missing Modalities

缺失模态下的共形融合

Alireza Moayedikia

机构 * Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本文提出MCCF架构，解决缺失模态下的多模态融合问题，该架构兼具模态缺失鲁棒性与校准不确定性，在多基准测试中表现出良好的覆盖率与精度性能。

UniPolymer: A Unified Framework for Property Prediction, Structure Recommendation, and Evaluation in Polyimide Design

UniPolymer：聚酰亚胺设计中用于属性预测、结构推荐与评估的统一框架

Junquan Hu, Zhihui Wang, Peng Xu, Xinru Guo, Xintong Li, Kun Lu, Ben Fei

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)

AI总结 UniPolymer是聚酰亚胺设计的统一框架，通过建立结构-属性映射、生成候选并评估排序，提升了属性预测与候选评估性能，减少了高成本实验的候选数量。

Strategy-Aware Parameter-Efficient Adaptation for LLM-based Auto-Bidding

基于大语言模型的自动出价的策略感知参数高效适配

Songyue Cai, Lianyu Wang, Shan Gu, Ziru Xu, Jian Xu, Xiaofeng Zhu, Bo Zheng

专题命中 融合架构与评测 ：multi-modal fusion(abstract)

AI总结 研究广告自动出价问题，提出SAGE框架，通过位置增强、文本对齐和约束门控LoRA三个组件，实现参数高效多模态对齐，在大规模基准实验中性能卓越，调整参数少，消融研究验证各组件贡献。

DriveDNA: A Large-Scale Multimodal Naturalistic Driving Dataset and Benchmark for Driving Style Identification

DriveDNA：用于驾驶风格识别的大规模多模态自然驾驶数据集及基准测试

Yuhang Wang, Lingyao Li, Hao Zhou

机构 * University of South Florida（南佛罗里达大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 该研究引入DriveDNA数据集及基准测试用于驾驶风格识别，定义驾驶风格为车辆在相似条件下的特定行为模式，通过三个核心任务评估，对比多种基线方法得出学习表示更优，视频模型有路线泄漏问题，强调可靠评估需考虑多方面因素。

CHiPS: Character Histograms and Positional Signals for Lightweight Authorship Attribution in Romanian Texts

CHiPS：罗马尼亚语文本中用于轻量级作者归属的字符直方图和位置信号

Sanda-Maria Avram, George C. Ţurcaş

机构 * Faculty of Mathematics and Computer Science, Babeş-Bolyai University（巴比什-波雅依大学数学与计算机科学学院） 纠错

专题命中 融合架构与评测 ：decision-level fusion(abstract)

AI总结 该研究针对罗马尼亚语文本提出CHiPS轻量级字符级作者归属方法，研究两种互补写作风格指纹，包括字符直方图分类器和位置信号分类器，还介绍了融合变体等，通过实验探讨受限字符证据在严格泄漏控制下的效果。

Comments 17 pages, 12 tables

Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control

使用基于查询的变压器进行多模态表面肌电手势识别以用于假肢控制

Federico Del Pup, Elisa Tentori, Manfredo Atzori

机构 * Department of Information Engineering, University of Padua（帕多瓦大学信息工程系） ； Padova Neuroscience Center, University of Padua（帕多瓦大学帕多瓦神经科学中心） ； Department of Biomedical Sciences, University of Padua（帕多瓦大学生物医学科学系） ； Department of Neuroscience, University of Padua（帕多瓦大学神经科学系） ； Information Systems Institute, University of Applied Sciences Western Switzerland (HES-SO Valais)（瑞士西部应用科学大学（HES-SO瓦莱州）信息系统研究所） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 研究针对表面肌电手势识别用于假肢控制时当前架构的局限，提出EMG-CrossFormer，通过级联交叉注意力融合层组合单模态编码器表示，经实验验证该方法能提升仅sEMG解码及多模态融合下的手势识别性能。

Comments GitHub repository: see https://github.com/deepPNClab/emg-crossformer

Multimodal CoLRAG-TF: Triple-Filtered Retrieval for Complex PDFs

多模态CoLRAG-TF：复杂PDF的三重过滤检索

Takato Yasuno

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 研究针对异构PDF集合检索增强生成的挑战，提出多模态CoLRAG-TF四轴融合架构，集成多种技术。构建多模态索引，经贝叶斯优化确定融合权重。实验显示其检索召回率高，多跳答案相似性提升显著，还适用于视觉输入，提供通用框架。

Comments 18 pages, 8 tables, 9 figures

Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG

融合前的信任：用于受污染多模态RAG的QIMG-7和源感知分辨率

Saadeldine Eletter, Owais Aijaz, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 研究多模态检索增强生成中受污染内容问题，提出QIMG-7基准。针对朴素多模态融合脆弱问题，提出源感知信任分辨率（SATR），Field-Selector变体效果最佳，结果支持选择性信任，显式文本可靠性建模是收益主要驱动因素。

Comments 23 pages, 6 figures, 23 tables. Preprint under review

Echoes of Unrest: A Multimodal NLP Framework for Early Warning of Fake News and Violence-Driven Mob Activity

动荡的回声：用于假新闻和暴力驱动的暴民活动早期预警的多模态NLP框架

Md. Maruf Bangabashi, Tahmid Hasan, Golam Mahmud, Md. Mostafijur Rahman, Md. Toufiqur Rahman, Jahanur Biswas

机构 * Department of Computer Science and Engineering, Dhaka International University（达卡国际大学计算机科学与工程系） ； Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology（孟加拉国工程技术大学计算机科学与工程系） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 针对社交媒体上错误信息传播引发危害的问题，提出多语言、多模态NLP框架。通过融合多基准数据集创建数据集，集成多种技术进行多模态融合，实验显示该框架在早期错误信息检测中有效。

Comments Accepted for publication as a book chapter (Taylor & Francis, 2026)