多模态信息融合

Active Adversarial Perturbation-driven Associative Memory Retrieval for RGB-Event Visual Object Tracking

主动对抗扰动驱动的关联记忆检索用于RGB-事件视觉目标跟踪

Xiao Wang, Xufeng Lou, Zikang Yan, Lan Chen, Sibao Chen, Yaowei Wang, Yonghong Tian, Jin Tang

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； School of Electronic and Information Engineering, Anhui University（安徽大学电子信息工程学院） ； Peng Cheng Laboratory（鹏城实验室） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； School of Computer Science, Peking University（北京大学计算机学院） ； School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 提出APRTrack框架，通过分层对抗扰动模拟模态退化与局部缺失，并设计足迹引导的通道校准Hopfield检索实现鲁棒的历史信息补偿，在多个数据集上验证了有效性。

Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models

基于可微搜索的视觉基础模型层特定提示融合发现

Xi Xiao, Xingjian Li, Yunbei Zhang, Cheng Han, Tianming Liu, Tianyang Wang, Runmin Jiang, Jihun Hamm, Xiao Wang, Min Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； CMU（卡内基梅隆大学） ； Tulane（杜兰大学） ； UMKC（密苏里大学堪萨斯分校） ； UGA（佐治亚大学） ； ORNL（橡树岭国家实验室） 纠错

专题命中 融合架构与评测 ：hybrid fusion(abstract)；分类 cs.CV

AI总结 研究视觉提示微调中提示与图像令牌的融合方案，提出可微架构搜索方法联合优化可学习提示及其融合方式，在34个数据集上取得一致提升。

Comments ECCV 2026

Geometry-Aware Superpixel Graph Transformer with Metadata for Skin Lesion Classification

几何感知超像素图变换器结合元数据用于皮肤病变分类

Muhammad Azeem, Tanveer Hussain, Amr Ahmed, Ardhendu Behera

机构 * Edge Hill University（埃奇希尔大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出一种基于区域的图学习框架，将病变建模为超像素图，利用几何边属性和元数据上下文节点，通过边缘感知图变换器实现多模态融合，在四个公开数据集上取得优于现有方法的分类性能。

Comments Accepted at MICCAI 2026

Heterogeneous and Adept Snapshot Distillation for 3D Semantic Segmentation

异构与专长快照蒸馏用于3D语义分割

Xiaopei Wu, Yuenan Hou, Junkai Xu, Wenxiao Wang, Binbin Lin, Yu Li, Ping Li, Haifeng Liu, Deng Cai, Wanli Ouyang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 融合架构与评测 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 提出异构和专长快照知识蒸馏（HAS-KD），通过信息导向异构蒸馏（IHD）和专长快照蒸馏（ASD）将多模态模型和多个模型专家的知识高效迁移到点云网络，在ScanNetV2和S3DIS上取得最先进结果。

Comments 11 pages

A Systematic Survey on Event Camera Representation Learning

事件相机表示学习系统综述

Hongwei Ren, Youxin Jiang, Tuopusen Huang, Xiangqian Wu

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 eess.IV

AI总结 综述从原始事件流转换为可学习表示的角度，分类梳理了基于密集和稀疏表示的方法，分析其在结构规则性、时间保真度、稀疏保持和架构兼容性上的权衡，并总结基准与未来方向。

Comments Under Review

HERO: Hypothesis-Driven Evidence Retrieval from Omics for Multi-Task Breast Cancer Analysis

HERO：基于假设驱动的组学证据检索用于多任务乳腺癌分析

Xiangyu Li, Ran Su

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出HERO框架，将组学数据作为形态学假设进行显式检索，通过稀疏通路先验和TF-IDF检索实现可审计的多模态乳腺癌分析，在TCGA-BRCA上取得多项预测任务的最优结果。

Comments 11 pages, 3 figures, Early accepted at MICCAI 2026

An approach with Visual and Tabular Mamba to multimodal medical data using Mixed Fusion

一种基于视觉和表格Mamba的混合融合多模态医疗数据方法

Matheus B. Rocha, Gustavo B. Dettogni, Renato A. Krohling

机构 * Labcin - Nature Inspired Computing Lab, Federal University of Esp\'irito Santo, Vit\'oria, Brazil PPGI - Graduate Program in Computer Science, Federal University of Esp\'irito Santo, Vit\'oria, Brazil 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出基于Mamba架构的混合融合方法，通过视觉和表格两种Mamba变体处理图像与临床数据，在癌症分类中实现可解释性，在NDB-UFES数据集上表现优于Transformer。

Comments 15 pages. accepted to 36th Brazilian Conference on Intelligent Systems

OlfactProfile: Profile-Conditioned Odor Prediction from Audiovisual Content

OlfactProfile: 基于用户嗅觉特征从视听内容预测气味

Zhengyu Lou, Bosheng Qin, Yanan Wang, Duanduan Yin, Wentao Ye, Yu Xin

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.MM

AI总结 提出OlfactProfile框架，通过结构化场级用户嗅觉特征调制，实现从视听内容预测气味，优于基线模型和通用多模态大模型，在背景气味和情感气味预测上提升显著。

Comments 10 pages, 5 figures

Spatio-Temporal Fusion Model for Standard View Classification of Echocardiographic Videos

超声心动图视频标准视图分类的时空融合模型

Bo Gou, Jicheng Zhang, Jianlong Xiong, Tao He, Bentian Liu, Hai Wu, Yijiao Wang, Yu Zhang, Yujia Yang, Yun Dai, Jian Liu, Jie Wang

机构 * Department of Ultrasound, The First Affiliated Hospital of Chengdu Medical College, School of Clinical Medicine, Chengdu Medical College（成都医学院第一附属医院超声科，临床医学院） ； College of Computer Science, Sichuan University（四川大学计算机学院） ； Department of Medical Ultrasound, West China Hospital of Sichuan University（四川大学华西医院超声科） ； Cancer Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College（中国医学科学院北京协和医学院肿瘤医院） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)；分类 cs.CV

AI总结 针对超声心动图视图分类中数据稀缺、时空特征难以融合的问题，提出基于不确定性感知的CNN-LSTM双流融合模型，在最大公开数据集EV9V上取得竞争性能。

A Comparative and Hybrid Study of CNN and Transformer Models for Multi-Class Virus Classification in Transmission Electron Microscopy

CNN与Transformer模型在透射电子显微镜多类病毒分类中的比较与混合研究

Md Mahmudul Hoque, Md Kawser Islam, Md. Mamunur Rahman Moon, Abdullah Rakib Akand, Md. Hadi Al-amin, H. M. Azrof

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 eess.IV

AI总结 本研究比较了CNN和Transformer模型在TEM图像中22类病毒分类的性能，通过加权交叉熵缓解类别不平衡，Swin Transformer表现最佳，混合策略进一步提升了宏F1分数。

Comments 10 pages, 10 figures. Accepted on Springer LNCS Conference ICTIS 2026, Thailand

Journal ref Springer LNCS Conference ICTIS 2026, Thailand

Conformal Fusion Under Missing Modalities

缺失模态下的共形融合

Alireza Moayedikia

机构 * Swinburne University of Technology（斯威本科技大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本文提出MCCF架构，解决缺失模态下的多模态融合问题，该架构兼具模态缺失鲁棒性与校准不确定性，在多基准测试中表现出良好的覆盖率与精度性能。

UniPolymer: A Unified Framework for Property Prediction, Structure Recommendation, and Evaluation in Polyimide Design

UniPolymer：聚酰亚胺设计中用于属性预测、结构推荐与评估的统一框架

Junquan Hu, Zhihui Wang, Peng Xu, Xinru Guo, Xintong Li, Kun Lu, Ben Fei

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)

AI总结 UniPolymer是聚酰亚胺设计的统一框架，通过建立结构-属性映射、生成候选并评估排序，提升了属性预测与候选评估性能，减少了高成本实验的候选数量。

Strategy-Aware Parameter-Efficient Adaptation for LLM-based Auto-Bidding

基于大语言模型的自动出价的策略感知参数高效适配

Songyue Cai, Lianyu Wang, Shan Gu, Ziru Xu, Jian Xu, Xiaofeng Zhu, Bo Zheng

专题命中 融合架构与评测 ：multi-modal fusion(abstract)

AI总结 研究广告自动出价问题，提出SAGE框架，通过位置增强、文本对齐和约束门控LoRA三个组件，实现参数高效多模态对齐，在大规模基准实验中性能卓越，调整参数少，消融研究验证各组件贡献。

DriveDNA: A Large-Scale Multimodal Naturalistic Driving Dataset and Benchmark for Driving Style Identification

DriveDNA：用于驾驶风格识别的大规模多模态自然驾驶数据集及基准测试

Yuhang Wang, Lingyao Li, Hao Zhou

机构 * University of South Florida（南佛罗里达大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 该研究引入DriveDNA数据集及基准测试用于驾驶风格识别，定义驾驶风格为车辆在相似条件下的特定行为模式，通过三个核心任务评估，对比多种基线方法得出学习表示更优，视频模型有路线泄漏问题，强调可靠评估需考虑多方面因素。

CHiPS: Character Histograms and Positional Signals for Lightweight Authorship Attribution in Romanian Texts

CHiPS：罗马尼亚语文本中用于轻量级作者归属的字符直方图和位置信号

Sanda-Maria Avram, George C. Ţurcaş

机构 * Faculty of Mathematics and Computer Science, Babeş-Bolyai University（巴比什-波雅依大学数学与计算机科学学院） 纠错

专题命中 融合架构与评测 ：decision-level fusion(abstract)

AI总结 该研究针对罗马尼亚语文本提出CHiPS轻量级字符级作者归属方法，研究两种互补写作风格指纹，包括字符直方图分类器和位置信号分类器，还介绍了融合变体等，通过实验探讨受限字符证据在严格泄漏控制下的效果。

Comments 17 pages, 12 tables

Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control

使用基于查询的变压器进行多模态表面肌电手势识别以用于假肢控制

Federico Del Pup, Elisa Tentori, Manfredo Atzori

机构 * Department of Information Engineering, University of Padua（帕多瓦大学信息工程系） ； Padova Neuroscience Center, University of Padua（帕多瓦大学帕多瓦神经科学中心） ； Department of Biomedical Sciences, University of Padua（帕多瓦大学生物医学科学系） ； Department of Neuroscience, University of Padua（帕多瓦大学神经科学系） ； Information Systems Institute, University of Applied Sciences Western Switzerland (HES-SO Valais)（瑞士西部应用科学大学（HES-SO瓦莱州）信息系统研究所） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 研究针对表面肌电手势识别用于假肢控制时当前架构的局限，提出EMG-CrossFormer，通过级联交叉注意力融合层组合单模态编码器表示，经实验验证该方法能提升仅sEMG解码及多模态融合下的手势识别性能。

Comments GitHub repository: see https://github.com/deepPNClab/emg-crossformer

Multimodal CoLRAG-TF: Triple-Filtered Retrieval for Complex PDFs

多模态CoLRAG-TF：复杂PDF的三重过滤检索

Takato Yasuno

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 研究针对异构PDF集合检索增强生成的挑战，提出多模态CoLRAG-TF四轴融合架构，集成多种技术。构建多模态索引，经贝叶斯优化确定融合权重。实验显示其检索召回率高，多跳答案相似性提升显著，还适用于视觉输入，提供通用框架。

Comments 18 pages, 8 tables, 9 figures

Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG

融合前的信任：用于受污染多模态RAG的QIMG-7和源感知分辨率

Saadeldine Eletter, Owais Aijaz, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 研究多模态检索增强生成中受污染内容问题，提出QIMG-7基准。针对朴素多模态融合脆弱问题，提出源感知信任分辨率（SATR），Field-Selector变体效果最佳，结果支持选择性信任，显式文本可靠性建模是收益主要驱动因素。

Comments 23 pages, 6 figures, 23 tables. Preprint under review

Echoes of Unrest: A Multimodal NLP Framework for Early Warning of Fake News and Violence-Driven Mob Activity

动荡的回声：用于假新闻和暴力驱动的暴民活动早期预警的多模态NLP框架

Md. Maruf Bangabashi, Tahmid Hasan, Golam Mahmud, Md. Mostafijur Rahman, Md. Toufiqur Rahman, Jahanur Biswas

机构 * Department of Computer Science and Engineering, Dhaka International University（达卡国际大学计算机科学与工程系） ； Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology（孟加拉国工程技术大学计算机科学与工程系） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 针对社交媒体上错误信息传播引发危害的问题，提出多语言、多模态NLP框架。通过融合多基准数据集创建数据集，集成多种技术进行多模态融合，实验显示该框架在早期错误信息检测中有效。

Comments Accepted for publication as a book chapter (Taylor & Francis, 2026)

BlowLive: Blow-Based Multi-Factor Biometrics with Liveness Detection and Revocability

BlowLive：基于吹气的多因素生物识别与活体检测及可撤销性

Eyasu Getahun Chekole, Howard Halim, Daniël Reijsbergen, Jianying Zhou

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 提出BlowLive框架，融合吹气声学信号与面部生物特征，采用模糊提取器生成稳定密钥进行认证，并引入多普勒频移活体检测，实现高精度、强安全与可撤销性。

CryoACE: An Atom-centric Framework for Accurate and Automated Model Building in Cryo-EM

CryoACE: 面向冷冻电镜中精确自动模型构建的原子中心框架

Minzhang Li, Mingrui Li, Weichen Qin, Qihe Chen, Sixian Shen, Yuan Pei, Jiakai Zhang, Jingyi Yu

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 提出CryoACE框架，通过原子中心重建范式和无需训练的引导机制，实现冷冻电镜密度图中均质与异质结构的精确原子模型构建，显著优于现有方法。

Journal ref ICML2026

A Hybrid, Multi-Layered Pipeline for Phishing and Threat Classification: Independently Validated URL and NLP Engines with a Calibrated Multi-Channel Fusion Stage

用于钓鱼和威胁分类的混合多层管道：独立验证的URL和NLP引擎与校准的多通道融合阶段

Saifelden M. Ismail, Aser O. Ibrahim, Omar A. Mahmoud

机构 * Department of Communications and Information Engineering（通讯与信息工程系） ； Zewail City of Science and Technology（泽瓦尔科学与技术城） 纠错

专题命中 融合架构与评测 ：decision-level fusion(abstract)

AI总结 提出一种混合管道，分别对URL和文本模态使用独立引擎评分并融合结果，在10,677封邮件基准测试中达到F1=0.914，并将真实垃圾邮件误报率降至3.6%。

Comments Graduation project, Zewail City of Science and Technology. Code and documentation: https://github.com/XHCFS/cybersiren. Whole-system fusion results use proxy URL and header channels; treat integrated metrics as preliminary

Deep learning-based detection of cessation of breathing in pre-term infants

基于深度学习的早产儿呼吸停止检测

Dineo Serame, Lionel Tarassenko, Mauricio Villarroel

机构 * Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford（牛津大学工程科学系生物医学工程研究所） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本研究利用深度学习模型，基于阻抗呼吸描记、心电图和光电容积描记信号，检测早产儿呼吸暂停相关呼吸停止事件，发现信号模态比架构复杂度更重要，单模态IP模型性能最优。

Comments 14 pages main text, 8 figures. Submitted to IEEE Journal of Biomedical and Health Informatics (JBHI)

Beyond Time Series: Spatial Reasoning for Epidemic Forecasting via Multimodal Learning

超越时间序列：基于多模态学习的空间推理用于流行病预测

Diana Guadalupe Gomez, Chenwei Wu, Zhiyi Wang, Liyue Shen, Alexander Rodríguez

机构 * University of Michigan（密歇根大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 提出M-SPICE框架，通过注意力机制融合区域级时序数据与空间辅助信号，在COVID-19、流感和ILI预测任务上超越现有基线。

Comments To appear in the Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026), AI for Science Track

Demographic Metadata as Construct-Irrelevant Noise in DistilBERT-Based Automated Essay Scoring

人口统计元数据作为基于DistilBERT的自动作文评分中的构念无关噪声

Teik Peng Ch'ng, Hui Na Chua

机构 * Sunway University（Sunway大学） ； Faculty of Engineering and Technology（工程与技术学院） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 研究通过ASAP 2.0数据集，发现将人口统计元数据与文本简单拼接会显著降低DistilBERT评分模型的预测准确性和公平性。

A Survey of Large Language Models for Perception and Measurement of Human Psychology

大型语言模型在人类心理感知与测量中的综述

Yudong Li, Xiaoyi Chen, Jiawei Cai, Zehao Zhong, Haoyang Yang, Huajin Tang, Linlin Shen

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 本文系统综述了大型语言模型（LLMs）作为人类心理测量工具的应用，从理论可行性、测量方法和应用效果三个维度构建分析框架，探讨其在人格评估和心理健康评价中的有效性及局限。

Comments Accepted by IEEE Transactions on Cognitive and Developmental Systems

Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

探测、融合与可信度：基础模型表示在多模态癌症分析中的系统评估

Jingyu Hu, Giuseppe Tripodi, Reed Naidoo, Sarah F. McGough, Tapabrata Chakraborti

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University of Bristol（布里斯托大学） ； University of Manchester（曼彻斯特大学） ； The Institute of Cancer Research（癌症研究所） ； Genentech（基因泰克） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 系统评估基础模型表示在计算病理学任务中的性能，发现图像和组学表示互补，多模态融合在单模态不占优时有效，并利用共形预测验证了不确定性感知推理的临床价值。

Progressive Knowledge-Guided Large Language Model Framework for Bearing Fault Diagnosis

渐进式知识引导的大型语言模型框架用于轴承故障诊断

Jinghan Wang, Gaoliang Peng, Yanjun Chen, Wei Zhang, Wentao Wu, Tianchen Liu

机构 * Harbin Institute of Technology, China（哈尔滨工业大学，中国） ； Eastern Institute of Technology, China（东方技术研究所，中国） 纠错

专题命中 融合架构与评测 ：information fusion(abstract)

AI总结 提出渐进式物理引导多尺度振动信号处理框架，通过81维测量描述符、故障自适应分割和隐式知识编码，在四个数据集上实现98.49%诊断精度并降低12.6倍计算成本。

Context-Aware Multimodal Claim Verification in Spoken Dialogues

口语对话中的上下文感知多模态声明验证

Chaewan Chun, Delvin Ce Zhang, Dongwon Lee

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 提出MAD2基准和上下文感知多模态融合方法，验证对话音频中的声明，发现对话结构比虚假信息框架对验证更重要。