多模态信息融合

Multimodal Cancer Modeling in the Age of Foundation Model Embeddings

多模态癌症建模：在基础模型嵌入时代

Steven Song, Morgan Borjigin-Wang, Irene Madejski, Robert L. Grossman

机构 * Center for Translational Data Science（转化数据科学中心） ； Department of Computer Science（计算机科学系） ； University of Chicago（芝加哥大学） ； Medical Scientist Training Program（医学科学家培训计划） ； Brown University（布朗大学） ； Section of Biomedical Data Science（生物医学数据科学部门） ； Department of Medicine（医学系） 纠错

专题命中 医学影像融合 ：multimodal fusion(abstract)

AI总结 本文探讨了利用基础模型嵌入进行多模态癌症建模的可能性，展示了多模态融合的优势，并评估了病理报告文本和文本摘要对模型性能的影响。

Comments camera ready version for ML4H 2025, typo corrected

Journal ref Proceedings of the Fifth Machine Learning for Health Symposium, PMLR 297:202-227, 2026

GraphFusion3D: Dynamic Graph Attention Convolution with Adaptive Cross-Modal Transformer for 3D Object Detection

GraphFusion3D: 动态图注意力卷积与自适应跨模态Transformer用于3D目标检测

Md Sohag Mia, Md Nahid Hasan, Muhammad Abdullah Adnan

专题命中 音视频/视觉语言融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 本文提出GraphFusion3D框架，结合多模态融合与先进特征学习，通过自适应跨模态Transformer增强几何与语义信息，并引入图推理模块捕捉局部结构与全局语义，实验在SUN RGB-D和ScanNetV2上均取得显著提升。

Multimodal Diffusion Transformer with Memory Bank for Scalable Long-Duration Talking Video Generation

具有内存库的多模态扩散变换器用于可扩展的长时谈话视频生成

Haojie Zhang, Zhihao Liang, Ruibo Fu, Bingyan Liu, Zhengqi Wen, Xuefei Liu, Jianhua Tao, Yaling Liang

机构 * South China University of Technology（南方科技大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学研究中心，清华大学） ； Department of Automation, BNRist, Tsinghua University（清华大学自动化系，北京信息科学研究中心） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出 LetsTalk 框架，通过多模态指导和内存库机制解决长时谈话视频生成中的质量、一致性、时间连贯性和计算效率问题，实验表明其在生成质量和效率上达到新水平。

Comments 16 pages, 25 figures

EviDep: Trustworthy Multimodal Depression Estimation via Disentangled Evidential Learning

EviDep：通过解耦证据学习实现可信的多模态抑郁估计

Fangyuan Liu, Sirui Zhao, Zeyu Zhang, Jinyang Huang, Feng-Qi Cui, Bin Luo, Meng Li, Tong Xu, Enhong Chen

机构 * School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； Department of Psychiatry, The First Affiliated Hospital of University of Science and Technology of China, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学附属第一医院精神科，生命科学与医学学院） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)

AI总结 本文提出EviDep框架，通过解耦证据学习量化抑郁严重程度及不确定性，提升多模态抑郁估计的可信度和不确定性校准能力。

Real-IAD MVN: A Multi-View Normal Vector Dataset and Benchmark for High-Fidelity Industrial Anomaly Detection

Real-IAD MVN：一种多视角法向量数据集和基准，用于高保真工业异常检测

Wenbing Zhu, Jianing Liang, Linjie Cheng, Yurui Pan, Zhuhao Chen, Qingwang Yan, Yudong Cheng, Jianghui Zhang, Mingmin Chi, Bo Peng

机构 * Fudan University（复旦大学） ； Shanghai Ocean University（上海海洋大学） ； Donghua University（东华大学） ； Rongcheer Co., Ltd.（荣驰科技有限公司） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出Real-IAD-MVN数据集，通过多视角法向量捕捉微细几何缺陷，验证密集多视角伪3D数据在工业异常检测中的优越性能。

Comments Accepted to CVPR 2025. 15 pages

McNdroid: A Longitudinal Multimodal Benchmark for Robust Drift Detection in Android Malware

McNdroid：用于Android恶意软件鲁棒漂移检测的纵向多模态基准

Md Mahmuduzzaman Kamol, Jesus Lopez, Saeefa Rubaiyet Nowmi, Emilia Rivas, Md Ahsanul Haque, Edward Raff, Aritran Piplai, Mohammad Saidur Rahman

机构 * Department of Computer Science, University of Texas at El Paso（德克萨斯大学埃尔帕索分校计算机科学系） ； CrowdStrike 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)

AI总结 McNdroid是首个大规模纵向多模态Android恶意软件基准，通过静态、动态和图谱特征分析，评估不同训练-测试时间间隔下的ML和深度学习检测器性能，揭示多模态融合在长期时间间隔中的优势。

Comments 28 pages, 14 figures, 14 tables