多模态信息融合

SpectralEarth-FM: Bringing Hyperspectral Imagery into Multimodal Earth Observation Pretraining

SpectralEarth-FM: 将高光谱图像引入多模态地球观测预训练

Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu

机构 * Chair of Data Science in Earth Observation（地球观测数据科学主任） ； Technical University of Munich（慕尼黑技术大学） ； Remote Sensing Technology Institute（遥感技术研究所） ； German Aerospace Center (DLR)（德国航空航天中心） ； Department of Aerospace Engineering（航空航天工程系） ； University of the Bundeswehr Munich（联邦国防军慕尼黑大学） ； LEAP ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； Inria（法国国家信息与自动化技术研究院） ； CNRS（法国国家科学研究中心） ； Grenoble INP（格勒诺布尔INP） ； LJK 纠错

专题命中 遥感融合与全色锐化 ：sensor fusion(abstract)；分类 cs.CV

AI总结 本文提出SpectralEarth-FM，一种用于多传感器地球观测输入的分层变压器，旨在联合处理高光谱图像与低通道观测。通过构建SpectralEarth-MM数据集，采用JEPA风格的目标进行预训练，实现了在高光谱下游任务和标准EO基准上的最佳性能。

Deformba: Vision State Space Model with Adaptive State Fusion

Deformba：具有自适应状态融合的视觉状态空间模型

Hongyu Ke, Jack Morris, Yongkang Liu, Satoshi Kitai, Kentaro Oguchi, Yi Ding, Haoxin Wang

机构 * Department of Computer Science, Georgia State University（佐治亚州立大学计算机科学系） ； University of Tennessee Knoxville（田纳西大学肯纳邦克分校） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 本文提出Deformba，一种能够动态增强空间结构信息并保持状态空间模型线性复杂度的自适应方法，通过多模态融合（如交叉注意力）提升视觉任务的性能，展示了在2D和3D视觉任务中的广泛适用性。

Journal ref Forty-Third International Conference on Machine Learning (ICML 2026)

RCGDet3D: Rethinking 4D Radar-Camera Fusion-based 3D Object Detection with Enhanced Radar Feature Encoding

RCGDet3D: 重新思考基于增强雷达特征编码的4D雷达-相机融合3D目标检测

Weiyi Xiong, Bing Zhu

机构 * School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 本文提出RCGDet3D，通过增强雷达特征编码而非复杂的多模态融合策略，实现了在3D目标检测中更高的准确性和实时性，为实时部署设定了新标准。

Multimodal Fusion for Sim2real Transfer in Visual Reinforcement Learning

多模态融合用于视觉强化学习中的仿真到现实迁移

Zichun Xu, Jingdong Zhao, Chenyu Guo, Qianxue Zhang, Liao Zhang, Xiao Zhang, Yiming Ren, Lian Zhang, Zengren Zhao

机构 * Medical Artificial Intelligence Lab, The First Hospital of Hebei Medical University, Hebei Medical University（医学人工智能实验室，河北医科大学第一医院，河北医科大学） ； State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(title)；分类 cs.CV、cs.RO

AI总结 本文提出基于视觉变换器的多模态融合框架，通过融合RGB和深度信息提升泛化能力，并设计对比学习方案和课程式域随机化方案以提高样本效率和迁移性能，实验结果表明该方法在现实任务中表现优异。

SAVER: Selective As-Needed Vision Evidence for Multimodal Information Extraction

SAVER：选择性所需视觉证据用于多模态信息提取

Miaobo Hu, Shuhao Hu, Bokun Wang, Rui Chen, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 该研究提出SAVER框架，通过选择性视觉证据提升多模态命名实体识别和关系抽取的性能，减少计算开销并提高准确性。

Exploring Deep Learning and Ultra-Widefield Imaging for Diabetic Retinopathy and Macular Edema

探索深度学习与超宽场成像用于糖尿病视网膜病变和黄斑水肿

Pablo Jimenez-Lizcano, Sergio Romero-Tapiador, Ruben Tolosana, Aythami Morales, Guillermo González de Rivera, Ruben Vera-Rodriguez, Julian Fierrez

机构 * BiometricsAI, Universidad Autónoma de Madrid, Madrid, Spain（生物度量AI，马德里自治大学，马德里，西班牙） ； Department of Mathematics, Universidad de Las Palmas de Gran Canaria, Spain（数学系，拉斯帕尔马斯大Canaria大学，西班牙） ； HCTLab Research Group, Universidad Autónoma de Madrid, Madrid, Spain（HCTLab研究组，马德里自治大学，马德里，西班牙） 纠错

专题命中 融合架构与评测 ：feature-level fusion(abstract)；分类 cs.CV

AI总结 本文研究了深度学习和超宽场成像在糖尿病视网膜病变和黄斑水肿检测中的应用，通过公开数据集评估了多种深度学习模型，并探讨了特征融合和频域表示的潜力。

Comments 6 pages, 4 figures, 2 tables