多模态大模型

Multimodal Latent Reasoning via Predictive Embeddings

通过预测嵌入进行多模态潜在推理

Ashutosh Adhikari, Mirella Lapata

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出Pearl框架，通过学习专家工具使用轨迹在潜在空间中进行多模态推理，无需显式调用工具，优于传统重建方法。

Towards Rapid Constitutive Model Discovery from Multi-Modal Data: Physics Augmented Finite Element Model Updating (paFEMU)

面向多模态数据的快速本构模型发现：物理增强有限元模型更新（paFEMU）

Jingye Tan, Govinda Anantha Padmanabha, Steven J. Yang, Nikolaos Bouklas

机构 * University of Southern California（南加州大学） ； Cornell University（康奈尔大学） ； Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院） ； Pasteur Labs 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出paFEMU方法，结合AI本构建模、稀疏化可解释模型发现和基于有限元的伴随优化，利用多模态数据实现快速本构模型发现。

A BEV-Fusion Based Framework for Sequential Multi-Modal Beam Prediction in mmWave Systems

基于BEV融合的毫米波系统中顺序多模束预测框架

Jiaming Zeng, Cunhua Pan, Haoyang Weng, Ruijing Liu, Hong Ren, Jiangzhou Wang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出基于BEV融合的框架，通过统一相机、激光雷达、雷达和GPS模态，在共享鸟瞰图表示中实现空间一致的多模融合，提升毫米波系统中束预测的准确性。

Comments 13pages,7figures

MAG-Net: Physics-Aware Multi-Modal Fusion of Geostationary Satellite and Radar for Severe Convective Precipitation Nowcasting

MAG-Net：融合静止卫星和雷达的物理感知多模态融合用于强对流降水nowcasting

Dandan Chen, Yaqiang Wang, Anyuan Xiong, Enda Zhu

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 MAG-Net通过融合静止卫星和雷达数据，利用物理约束提升对强对流降水的nowcasting性能，优于现有确定性和生成性模型。

Cross-Modal Visuo-Tactile Object Perception

跨模态视觉-触觉物体感知

Anirvan Dutta, Simone Tasciotti, Claudia Cusseddu, Ang Li, Panayiota Poirazi, Julijana Gjorgjieva, Etienne Burdet, Patrick van der Smagt, Mohsen Kaboli

机构 * BMW Group AG（宝马集团） ； Imperial College of Science, Technology and Medicine（帝国理工学院） ； University of Crete（克里特大学） ； Institute of Molecular Biology and Biotechnology, Foundation for Research and Technology-Hellas（分子生物学与生物技术研究所，研究与技术基金会-希腊） ； Technical University of Munich（慕尼黑工业大学） ； Eötvös Loránd University（罗兰大学） ； Foundation Robotics Labs（基础机器人实验室） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 本文提出跨模态潜在滤波器(CMLF)，通过贝叶斯推断实现视觉与触觉信息的双向传递，提升机器人在不确定性下的物理属性估计效率与鲁棒性，同时展现类人感知耦合现象。

Comments 23 pages, 8 figures, 1 table. Submitted for review to journal

A Late-Fusion Multimodal AI Framework for Privacy-Preserving Deduplication in National Healthcare Data Environments

一种用于国家医疗数据环境中的隐私保护去重的晚融合多模态AI框架

Mohammed Omer Shakeel Ahmed

机构 * University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出一种多模态AI框架，通过语义嵌入、行为模式和设备元数据的晚融合方法，实现隐私保护下的去重，提升公共健康分析的可靠性。

Comments 6 pages, 1 figure, 1 table. Accepted for publication in the 2025 IEEE International Conference on Future Machine Learning and Data Science (FMLDS)

Journal ref 2025 IEEE International Conference on Future Machine Learning and Data Science (FMLDS)

Sensing-Assisted Adaptive Beam Probing with Calibrated Multimodal Priors and Uncertainty-Aware Scheduling

基于校准多模态先验和不确定性感知调度的传感辅助自适应波束探测

Abidemi Orimogunje, Vukan Ninkovic, Ognjen Kundacina, Hyunwoo Park, Sunwoo Kim, Dejan Vukobratovic, Evariste Twahirwa, Gaspard Gashema

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出一种传感辅助自适应探测策略，利用多模态传感数据校准波束先验，通过深度Q-集合预测波束奖励并结合置信度调度，减少训练开销并提高可靠性。

Comments 5 pages

HeCoFuse: Cross-Modal Complementary V2X Cooperative Perception with Heterogeneous Sensors

HeCoFuse: 跨模态互补V2X协作感知与异构传感器

Chuheng Wei, Ziye Qin, Walter Zimmer, Guoyuan Wu, Matthew J. Barth

机构 * College of Engineering, Center for Environmental Research and Technology, University of California at Riverside（加州大学河滨分校工程学院、环境研究与技术中心） ； School of Transportation and Logistics, Southwest Jiaotong University（西南交通大学交通运输与物流学院） ； Chair of Robotics, Artificial Intelligence and Real-time Systems, TUM School of Computation, Information and Technology, Technical University of Munich（慕尼黑技术大学计算机、信息与技术学院机器人、人工智能与实时系统教授职位） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV、cs.AI、cs.MM

AI总结 HeCoFuse提出一种统一框架，通过通道和空间注意力机制实现异构传感器下的跨模态特征融合，提升协作感知的可靠性与性能，实验显示其在TUMTraf-V2X数据集上达到43.22%的3D mAP，优于基线方法。

Comments Ranked first in CVPR DriveX workshop TUM-Traf V2X challenge. Accepted by ITSC2025

Journal ref Proceedings of the 2025 IEEE 28th International Conference on Intelligent Transportation Systems (ITSC), pp. 1214-1221, 2025

Towards Robust Multimodal Physiological Foundation Models: Handling Arbitrary Missing Modalities

迈向稳健的多模态生理基础模型：处理任意缺失模态

Wei-Bang Jiang, Xi Fu, Yi Ding, Cuntai Guan

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出PhysioOmni模型，通过解耦多模态信号提取通用表示，解决现有方法在跨数据集泛化和缺失模态处理上的不足，实验显示其在情绪识别等任务中表现优异。

Comments 19 pages, 5 figures

TriFusion-LLM: Prior-Guided Multimodal Fusion with LLM Arbitration for Fine-grained Code Clone Detection

TriFusion-LLM：基于LLM仲裁的先验引导多模态融合用于细粒度代码克隆检测

Mengdi Li, Yuming Liu, He Wang, Zifeng Xu, Yuqing Zhang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出TriFusion-LLM框架，结合传统机器学习的启发式相似性先验、AST结构信号和CodeBERT语义嵌入，提升细粒度代码克隆检测的分类性能，实验表明其在BigCloneBench上将Macro-F1提升至0.875。

Multimodal Fusion Network for Micro-displacement Measurement via Michelson Interferometer

用于迈克尔逊干涉仪的多模融合网络微位移测量

Zixing Jia, Jiawei Li, Ziping Chen, Xin Li

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出一种多模融合网络用于高精度微位移测量，通过引入双头学习机制解决半波位移模糊问题，实现高精度位移和整数干涉阶分类，具备实时性和鲁棒性。

Anchored Alignment: Preventing Positional Collapse in Multimodal Recommender Systems

锚定对齐：防止多模态推荐系统中的位置坍塌

Yonghun Jeong, David Yoon Suk Kang, Yeon-Chang Lee

机构 * UNIST Ulsan（乌尼斯特大学（乌山）） ； Chungbuk National University（Chungbuk国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出AnchorRec框架，通过轻量投影域的间接锚定对齐方法，避免多模态推荐系统中的位置坍塌，提升推荐准确性和多模态表达性。

Comments 5 pages, 5 figures

Entropy-and-Channel-Aware Adaptive-Rate Semantic Communication with MLLM-Aided Feature Compensation

熵与信道感知的自适应速率语义通信 with MLLM辅助特征补偿

Weixuan Chen, Qianqian Yang, Yuhao Chen, Chongwen Huang, Qian Wang, Zehui Xiong, Zhaoyang Zhang

专题命中 多模态训练与对齐 ：MLLM(title)；multimodal(abstract)

AI总结 本文提出一种基于熵与信道感知的自适应速率语义通信框架，利用MLLM辅助特征补偿提升通信效率。

SpecBridge: Bridging Mass Spectrometry and Molecular Representations via Cross-Modal Alignment

SpecBridge: 通过跨模态对齐弥合质谱与分子表示

Yinkai Wang, Yan Zhou Chen, Xiaohui Chen, Li-Ping Liu, Soha Hassoun

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 SpecBridge通过跨模态对齐方法提升质谱数据中分子鉴定的准确性，利用冻结的基础模型实现高效检索。

Comments We have found a problem in the preprocessing/evaluation pipeline

PanoMHD: Multimodal Modelling of Plasma Dynamics towards Tokamak Control

PanoMHD：面向托卡马克控制的等离子体动力学多模态建模

Hyeongjun Noh, Chweeho Heo, Xiaotian Gao, Yong-Su Na

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 PanoMHD通过多模态建模提升等离子体稳定性预测，实现对托卡马克控制的先进性能。

PSQE: A Theoretical-Practical Approach to Pseudo Seed Quality Enhancement for Unsupervised Multimodal Entity Alignment

PSQE：一种伪种子质量增强的理论-实践方法用于无监督多模态实体对齐

Yunpeng Hong, Chenyang Bu, Jie Zhang, Yi He, Di Wu, Xindong Wu

机构 * Key Laboratory of Knowledge Engineering with Big Data (the Ministry of Education of China), Hefei University of Technology（大数据知识工程重点实验室（教育部）、合肥工业大学） ； Department of Data Science, College of William and Mary（威廉与玛丽学院数据科学系） ； College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 PSQE通过多模态信息和聚类重采样提升伪种子质量，改善无监督多模态实体对齐的精度与图覆盖平衡性。

Comments 2026 SIGKDD Accept

MoToRec: Sparse-Regularized Multimodal Tokenization for Cold-Start Recommendation

MoToRec：基于稀疏正则化的多模态分词用于冷启动推荐

Jialin Liu, Zhaorui Zhang, Ray C. C. Cheung

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 MoToRec通过稀疏正则化的多模态分词方法，解决冷启动推荐中的数据稀疏性和新物品表示问题，提升推荐系统性能。

Comments Accepted to AAAI 2026 (Main Track)

Deep learning-based astronomical multimodal data fusion: A comprehensive review

基于深度学习的天文多模态数据融合：综述

Wujun Shao, Dongwei Fan, Chenzhou Cui, Yunfei Xu, Shirui Wei, Xin Lyu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文综述了基于深度学习的天文多模态数据融合方法，探讨了其在数据融合中的应用、挑战及未来发展方向。

Journal ref Information Fusion 130 (2026) 104103

Multimodal Alignment Improves Generalizability of Genomic Biomarker Prediction in Computational Pathology

多模态对齐提升了计算病理学中基因组生物标志物预测的泛化能力

Ekaterina Redekop, Eric Zimmermann, Ava P Amini, Alex X Lu, Neil Tenenholtz, James Brian Hall, Lorin Crawford, Kristen A Severson

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 MARBLE通过多模态对比预训练策略，将组织病理学图像与基因组生物标志物的表示对齐，提升计算病理学中基因组生物标志物预测的泛化能力。

Human-Centered Multimodal Fusion for Sexism Detection in Memes with Eye-Tracking, Heart Rate, and EEG Signals

以人类为中心的多模态融合用于表情包中性别歧视检测：结合眼动追踪、心率和EEG信号

Iván Arcos, Paolo Rosso, Elena Gomis-Vicent

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出了一种结合眼动追踪、心率和EEG信号的多模态融合模型，用于更准确地检测表情包中的性别歧视。

Comments Accepted to appear in the Proceedings of LREC 2026

Multimodal-enhanced Federated Recommendation: A Group-wise Fusion Approach

多模态增强的联邦推荐：一种组级融合方法

Chunxu Zhang, Weipeng Zhang, Guodong Long, Zhiheng Xue, Riting Xia, Bo Yang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出了一种多模态增强的联邦推荐方法，通过组级融合机制提升推荐系统在多模态特征整合方面的性能。

Comments Accepted at WWW 2026

Multi-modal Data Driven Virtual Base Station Construction for Massive MIMO Beam Alignment

多模态数据驱动的大规模MIMO波束对准虚拟基站构造

Yijie Bian, Wei Guo, Jie Yang, Shenghui Song, Jun Zhang, Shi Jin, Khaled B. Letaief

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出利用多模态数据构建虚拟基站以优化大规模MIMO波束对准，通过几何镜像和稀疏表示提升频谱效率。

Multi-Modal Sensing Residual-Corrected GNN for mmWave Path Loss Prediction via Synesthesia of Machines

多模态感知残差校正图神经网络用于毫米波路径损耗预测的机器合成感知

Mengyuan Lu, Lu Bai, Xiang Cheng

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出一种多模态感知残差校正图神经网络，用于毫米波路径损耗预测，结合拓扑感知图表示和细粒度视觉语义，实现高精度路径损耗估计。

Align and Adapt: Multimodal Multiview Human Activity Recognition under Arbitrary View Combinations

对齐与适应：在任意视图组合下的人类活动识别多模态多视角学习

Duc-Anh Nguyen, Nhien-An Le-Khac

机构 * University College Dublin（都柏林大学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 AliAd通过结合多视角对比学习和专家混合模块，实现任意视图组合下的灵活多模态人类活动识别，提升模型适应性和计算效率。

Towards Uniformity and Alignment for Multimodal Representation Learning

迈向多模态表示学习的统一性与对齐

Wenzhe Yin, Pan Zhou, Zehao Xiao, Jie Liu, Shujian Yu, Jan-Jakob Sonke, Efstratios Gavves

机构 * University of Amsterdam（阿姆斯特丹大学） ； The Netherlands Cancer Institute（荷兰癌症研究所） ； The Arctic University of Norway（挪威北极大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出了一种多模态表示学习的方法，通过分离对齐和统一性以解决冲突，提升模型在检索和生成任务中的性能。

Multi-Modal Data Fusion for Moisture Content Prediction in Apple Drying

多模态数据融合用于苹果干燥中的含水率预测

Shichen Li, Chenhui Shao

机构 * Department of Mechanical Science and Engineering, University of Illinois at Urbana-Champaign, Urbana, IL 61801, USA（伊利诺伊大学厄巴纳-香槟分校机械科学与工程系） ； Department of Mechanical Engineering, University of Michigan, Ann Arbor, MI 48109, USA（密歇根大学安娜堡分校机械工程系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出多模态数据融合框架，通过融合表格数据和图像数据提高苹果干燥含水率预测的准确性，有效降低误差并增强鲁棒性。

Comments Accepted for publication in the Proceedings of the 53rd North American Manufacturing Research Conference (NAMRC 53), to appear in Manufacturing Letters

Journal ref Manufacturing Letters Volume 44, Supplement, August 2025, Pages 1316-1325

Constraint Matters: Multi-Modal Representation for Reducing Mixed-Integer Linear programming

约束至关重要：用于减少混合整数线性规划的多模态表示

Jiajun Li, Yixuan Li, Ran Hou, Yu Ding, Shisi Guan, Jiahui Duan, Xiongwei Han, Tao Zhong, Vincent Chau, Weiwei Wu, Wanyuan Wang

机构 * Southeast University（东南大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出了一种基于约束的多模态表示方法，用于提高混合整数线性规划问题的求解效率和解的质量。

Comments Accecpted by ICLR 2026

Towards Trustworthy Multimodal Recommendation

迈向可信的多模态推荐

Zixuan Li

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出了一种多模态推荐系统中的可信度校正方法，通过学习模态特征的软对应关系以提升鲁棒性，并验证了交互级可信度的两个关键观察。

Comments Preprint, 10 pages, 5 figures

AtomGraph: Tackling Atomicity Violation in Smart Contracts using Multimodal GCNs

AtomGraph: 通过多模态GCN解决智能合约中的原子性违规问题

Xiaoqi Li, Zongwei Li, Wenkai Li, Zeng Zhang, Lei Xie

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 AtomGraph通过多模态GCN检测智能合约中的原子性违规，实现高准确率和F1分数，优于现有工具。

CHIME: Chiplet-based Heterogeneous Near-Memory Acceleration for Edge Multimodal LLM Inference

基于芯片组的异构近内存加速用于边缘多模态大语言模型推理

Yanru Chen, Runyang Tian, Yue Pan, Zheyu Li, Weihong Xu, Tajana Rosing

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 CHIME通过异构近内存加速方案，提升边缘多模态大语言模型推理的效率和能效。