多模态大模型

FUSE: Frequency-domain Unification and Spectral Energy Alignment for Multi-modal Object Re-Identification

FUSE：面向多模态目标重识别的频域统一与频谱能量对齐

Xuanhao Qi, Tom H. Luan, Yukang Zhang, Jinkai Zheng, Zhou Su, Shuwei Li, Lei Tan

机构 * School of Cyber Science and Engineering, Xi'an Jiaotong University（西安交通大学网络空间安全学院） ； School of Informatics, Xiamen University（厦门大学信息学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出频域框架FUSE，通过频谱解耦和能量对齐两阶段处理，解决多模态重识别中低频偏置问题，在三个数据集上mAP提升9.1%。

Comments Accepted in ICML 2026

SUP-MCRL: Subject-aware Unified Pseudo-feature Coded Multimodal Contrastive Representation Learning for EEG Visual Decoding

SUP-MCRL：面向EEG视觉解码的感知主体统一伪特征编码多模态对比表示学习

Shengyu Gong, Weiming Zeng, Yueyang Li, Zijian Kang, Hongjie Yan, Wai Ting Siok, Nizhuan Wang

机构 * Lab of Digital Image and Intelligent Computation, Shanghai Maritime University（上海海事大学数字图像与智能计算实验室） ； Department of Language Science and Technology, The Hong Kong Polytechnic University（香港理工大学语言科学与技术系） ； Affiliated Lianyungang Hospital of Xuzhou Medical University（徐州医科大学附属连云港医院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出SUP-MCRL框架，通过语义感知视觉编码器、统一EEG增强器和原型渐进增强器，解决多模态对比学习中语义一致性和主体选择性问题，在THINGS-EEG零样本任务上达到66.0%/91.9%的Top-1/Top-5准确率。

TerraMind: Large-Scale Generative Multimodality for Earth Observation

TerraMind：面向地球观测的大规模生成式多模态模型

Johannes Jakubik, Felix Yang, Benedikt Blumenstiel, Erik Scheurer, Rocco Sedona, Stefano Maurogiovanni, Jente Bosmans, Nikolaos Dionelis, Valerio Marsocci, Niklas Kopp, Rahul Ramachandran, Paolo Fraccaro, Thomas Brunschwiler, Gabriele Cavallaro, Juan Bernabe-Moreno, Nicolas Longépé

机构 * IBM Research – Europe（IBM欧洲研究院） ； ETH Zurich（苏黎世联邦理工学院） ； Forschungszentrum Jülich（尤利希研究中心） ； European Space Agency（欧洲航天局） ； Φ \Phi -Lab（Φ实验室） ； NASA IMPACT ； University of Iceland（爱沙尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；any-to-any(abstract)；multimodal foundation model(abstract)

AI总结 提出首个任意到任意生成式多模态基础模型TerraMind，通过双尺度表示（token级和像素级）预训练，实现零样本/少样本应用，并引入“模态思考”能力，在PANGAEA等基准上达到领先性能。

Comments Accepted at ICCV'25

Alzheimer's Disease Diagnosis using a Multimodal Approach with 3D MRI and PET

使用3D MRI和PET的多模态方法诊断阿尔茨海默病

Loukas Ilias, Anthi-Maria Vozinaki, Christos Ntanos, Dimitris Askounis

机构 * DSS Lab, School of ECE, NTUA（NTUA ECE学院DSS实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出结合3D卷积特征提取器与三种融合策略（拼接、门控多模态单元、门控自注意力）及稀疏门控混合专家分类器的多模态模型，用于阿尔茨海默病诊断，在三个二分类任务上验证了输入自适应建模的有效性。

Comments 2025 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)

Pointwise is Pointless? A Multimodal Ablation Study for Precipitation Nowcasting with Graph Neural Networks

逐点是否无意义？基于图神经网络的降水临近预报的多模态消融研究

Ophélia Miralles, Máté Mile, Christoffer Artturi, Thomas Nipen, Ivar Seierstad

机构 * Norwegian Meteorological Institute（挪威气象研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本研究通过多模态图神经网络系统，消融分析雷达、数值预报、地面观测、卫星数据及训练损失对降水临近预报的影响，发现各模态分别改善不同方面，点观测虽提升局部但需结合损失函数和不确定性表示才能优化雷达场。

SpatialSV: Internalizing Interpretable 3D Spatial Awareness in MLLMs via Task-Oriented Visual Supervision

SpatialSV: 通过任务导向的视觉监督在多模态大语言模型中内化可解释的3D空间感知

Jiayu Tang, Yuchen Zhou, Chao Gou

机构 * School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能工程学院） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出SpatialSV框架，通过任务导向的视觉监督将MLLM的2D特征提升为显式3D表示（深度图、相机姿态、点云），实现可解释的3D空间感知内化，无需外部工具，并在半监督设置中展现强泛化能力。

Comments Accepted by IJCAI 2026

Timage: A Generative Text-in-Image Paradigm for Fine-Tuning Vision-Language Models

Timage: 一种用于微调视觉语言模型的文本嵌入图像生成范式

Yifeng Wu, Huimin Huang, Ruiluo Wu, Chunyi Lin, Guanhua Chen, Xian Wu, Wang Song, Ruize Han

机构 * Fudan University（复旦大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Tencent Jarvis Lab（腾讯贾维斯实验室） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Timage范式，通过约束薛定谔桥将查询文本作为排版覆盖层嵌入图像，以显式空间锚点引导模型关注，在不侵蚀骨干能力前提下提升细粒度空间推理性能。

Comments ECCV

Towards Modality-imbalanced Federated Graph Learning: A Data Synthesis-based Approach

面向模态不平衡的联邦图学习：一种基于数据合成的方法

Zhengyu Wu, Hongchao Qin, Xunkai Li, Zekai Chen, Rong-Hua Li, Guoren Wang

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对联邦图学习中客户端级和节点级模态不平衡问题，提出隐式图感知潜在语义表示合成范式FedMGS，通过可用性感知图编码器、原型引导语义合成器和可靠性校准融合机制恢复缺失模态语义，在四个任务上最高提升17.41%。

Online Dynamic Batching with Formal Guarantees for LLM Training

面向LLM训练的具有形式保证的在线动态批处理

Dian Li, Zekun Wang, Yaoru Wang, Jiahong Yan

机构 * Tencent（腾讯） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 提出在线动态批处理（ODB）系统，在数据加载器侧将批构建延迟到样本真实成本可观测时，解决离线批采样中预处理成本不可见问题，实现1.58-4.43x吞吐量提升，并提供无死锁有界终止的形式化保证。

Comments 29 pages, 3 figures, 21 tables

The Sheaf Laplacian: A Topological Framework for Data Fusion and Consensus in Distributed Sensing Networks

层拉普拉斯算子：分布式传感网络中数据融合与共识的拓扑框架

Manuel Hernández, Eduardo Sánchez-Soto

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 提出层理论作为传统图模型的替代，利用层拉普拉斯算子实现异构分布式传感网络中的数据融合与共识。

A deep learning framework for jointly solving transient Fokker-Planck equations with arbitrary parameters and initial distributions

一种联合求解具有任意参数和初始分布的瞬态Fokker-Planck方程的深度学习框架

Xiaolong Wang, Jing Feng, Qi Liu, Chengli Tan, Yuanyuan Liu, Yong Xu

机构 * School of Mathematics and Statistics, Shaanxi Normal University（陕西师范大学数学与统计学院） ； School of Mathematics and Statistics, Northwestern Polytechnical University（西北工业大学数学与统计学院） ； MOE Key Laboratory for Complexity Science in Aerospace, Northwestern Polytechnical University（航空复杂科学教育部重点实验室，西北工业大学） ； School of Science, Xi’an University of Posts and Telecommunications（西安邮电大学理学院） ； Department of Systems and Control Engineering, Institute of Science Tokyo（东京科学大学系统与控制工程系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 提出基于深度学习的伪解析概率解(PAPS)，通过单次训练同时求解任意多模态初始分布、系统参数和时间点的瞬态FPE，速度比GPU加速蒙特卡洛快四个数量级。