多模态信息融合

Mind the Gap: Learning Modality-Agnostic Representations with a Cross-Modality UNet

Mind the Gap: Learning Modality-Agnostic Representations with a Cross-Modality UNet

Xin Niu, Enyi Li, Jinchao Liu, Yan Wang, Margarita Osadchy, Yongchun Fang

机构 * Tianjin Key Laboratory of Intelligent Robotics, College of Artificial Intelligence, Nankai University, China（天津智能机器人重点实验室，人工智能学院，南开大学，中国） ； Engineering Research Center of Trusted Behavior Intelligence, Ministry of Education, Nankai University, China（可信行为智能工程研究中心，教育部，南开大学，中国） ； Department of Computer Science, Haifa University, Israel（计算机科学系，海法大学，以色列） ； VisionMetric Ltd, Canterbury, Kent, UK（VisionMetric Ltd，坎特伯雷，肯特，英国） 纠错

专题命中 红外-可见光融合 ：infrared and visible(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出了一种紧凑的编码器-解码器神经模块（cmUNet），通过跨模态转换和模态内重建，学习模态无关的表示，同时保留身份相关的信息。此外，作者提出了MarrNet，通过将cmUNet连接到标准特征提取网络，实现跨模态匹配，并在多个挑战性任务上验证了其优越性能。

Comments Published in IEEE Transactions on Image Processing. See full abstract in the PDF file

Journal ref n IEEE Transactions on Image Processing, vol. 33, pp. 655-670, 2024

A Conditional U-Net Pipeline with Pre- and Post-Processing for Aerial RGB-to-Thermal Image Translation

具有预处理和后处理的条件U-Net管道用于航空RGB到热图像转换

Tseten Sherpa, Sikandar Ali, Shubham Parab, Haoyun Feng, Matthew Dennis, Keenan Gibbons, Verrah Otiende, Geoffrey H. Siwo

机构 * Department of Data Science, University of Michigan, Ann Arbor, MI, USA（数据科学系，密歇根大学，安阿伯，MI，美国） ； Department of Information Science, University of Michigan, Ann Arbor, MI, USA（信息科学系，密歇根大学，安阿伯，MI，美国） ； Department of Computer Science, University of Michigan, Ann Arbor, MI, USA（计算机科学系，密歇根大学，安阿伯，MI，美国） ； Arcknow, New York, USA（Arcknow，纽约，美国） ； School of Environmental Sustainability, University of Michigan, Ann Arbor, MI, USA（可持续环境学院，密歇根大学，安阿伯，MI，美国） ； SmithGroup, Ann Arbor, MI, USA（SmithGroup，安阿伯，MI，美国） ； Michigan Institute for Data and AI in Society (MIDAS), University of Michigan, Ann Arbor, MI, USA（密歇根数据与人工智能社会研究院（MIDAS），密歇根大学，安阿伯，MI，美国） ； United States International University (USIU), Nairobi, Kenya（美国国际大学（USIU），内罗毕，肯尼亚） ； Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, MI, USA（学习健康科学系，密歇根大学医学院，安阿伯，MI，美国） ； Department of Pharmacology, University of Michigan Medical School, Ann Arbor, MI, USA（药理学系，密歇根大学医学院，安阿伯，MI，美国） ； Center for Global Health Equity, University of Michigan, Ann Arbor, MI, USA（全球健康公平中心，密歇根大学，安阿伯，MI，美国） 纠错

专题命中 红外-可见光融合 ：image fusion(abstract)；分类 cs.CV

AI总结 本文提出了一种基于条件U-Net的简单架构，结合天气数据和针对性预处理与后处理技术，以提高航空RGB到热图像转换的性能，实验结果显示其在PSNR、SSIM和LPIPS指标上优于现有方法。

Comments 8 pages, 7 figures, NeurIPS 2026