arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

视觉与机器人

多模态信息融合

面向图像、视频、多传感器和跨模态感知的信息融合,包括 Image Fusion、红外可见光、遥感、医学影像、LiDAR/雷达/相机和音视频融合。

2026-03-24 至 2026-03-24 共收录 14 信号源:cs.CV, eess.IV, eess.SP, cs.RO, cs.MM

1. 通用Image Fusion 2 篇

2603.21129 2026-03-24 cs.CV 88%

ReDiffuse: Rotation Equivariant Diffusion Model for Multi-focus Image Fusion

ReDiffuse:用于多焦点图像融合的旋转等价扩散模型

Bo Li, Tingting Bao, Lingling Zhang, Weiping Fu, Yaxian Wang, Jun Liu

机构 * School of Computer Science and Technology, Xi'an Jiaotong University(西安交通大学计算机科学与技术学院) School of Information Engineering, Chang'an University(长安大学信息工程学院)

专题命中 通用Image Fusion :image fusion(title,abstract);multi-focus(title,abstract);分类 cs.CV

AI总结 本文提出ReDiffuse模型,通过在扩散网络中嵌入旋转等价性,解决多焦点图像融合中因模糊导致的结构失真问题,提升融合图像的结构一致性。

Comments 10 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.13157 2026-03-24 cs.CV cs.AI 79%

Intrinsic Image Fusion for Multi-View 3D Material Reconstruction

多视角3D材质重建的内在图像融合

Peter Kocsis, Lukas Höllein, Matthias Nießner

机构 * Technical University of Munich(慕尼黑技术大学)

专题命中 通用Image Fusion :image fusion(title,abstract);分类 cs.CV

AI总结 本文提出内在图像融合方法,通过多视角图像重建高质量物理材质。引入单视角先验约束优化过程,利用扩散基材质估计器生成多个不一致候选分解,并通过鲁棒优化框架融合最一致的预测,最终优化低维参数,提升材质分离质量。

Comments Project page: https://peter-kocsis.github.io/IntrinsicImageFusion/ Video: https://www.youtube.com/watch?v=-Vs3tR1Xl7k

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 红外-可见光融合 3 篇

2508.05264 2026-03-24 cs.CV cs.AI 89%

SGDFuse: SAM-Guided Diffusion Model for High-Fidelity Infrared and Visible Image Fusion

SGDFuse: 基于SAM的扩散模型用于高保真红外与可见图像融合

Xiaoyang Zhang, jinjiang Li, Guodong Fan, Yakun Ju, Linwei Fan, Jun Liu, Alex C. Kot

机构 * School of Computer Science(计算机科学学院) Business University, Yantai, China(烟台商学院) College of Computer and Data Science(计算机与数据科学学院) Fuzhou University, Fuzhou, China(福州大学) School of Computing and Mathematical Sciences(计算与数学科学学院) University of Leicester, Leicester, United Kingdom(莱斯特大学) School of Computing and Artificial Intelligence(计算与人工智能学院) Director of the Rapid-Rich Object Search Laboratory(快速丰富对象搜索实验室主任) NTU-PKU Joint Research Institute, Nanyang Technological University, Singapore(NTU-PKU联合研究机构,新加坡国立大学)

专题命中 红外-可见光融合 :image fusion(title,abstract);infrared and visible(title,abstract);information fusion(comments,journal_ref);分类 cs.CV

AI总结 本文提出SGDFuse,通过结合SAM的高阶语义先验与扩散模型的高保真生成能力,解决红外与可见图像融合中的语义盲问题,提升图像质量和下游任务性能。

Comments Published in Information Fusion

Journal ref Information Fusion, 2026: 104290

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.21820 2026-03-24 cs.CV 88%

Beyond Strict Pairing: Arbitrarily Paired Training for High-Performance Infrared and Visible Image Fusion

超越严格配对:用于高性能红外和可见图像融合的任意配对训练

Yanglin Deng, Tianyang Xu, Chunyang Cheng, Hui Li, Xiao-jun Wu, Josef Kittler

机构 * School of Artificial Intelligence and Computer Science, Jiangnan University(江南大学人工智能与计算机科学学院) Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(Surrey 大学视觉、语音和信号处理中心)

专题命中 红外-可见光融合 :image fusion(title,abstract);infrared and visible(title,abstract);分类 cs.CV

AI总结 本文挑战严格配对训练范式,提出任意配对训练范式,通过丰富跨模态关系提升红外和可见图像融合性能,实验证明其在数据有限情况下可达到与大规模数据集相当的性能。

Comments Accepted by CVPR2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.22027 2026-03-24 cs.CV 57%

Tuning Real-World Image Restoration at Inference: A Test-Time Scaling Paradigm for Flow Matching Models

在推理过程中调整现实世界图像恢复:一种适用于流匹配模型的测试时间缩放范式

Purui Bai, Junxian Duan, Pin Wang, Jinhua Hao, Ming Sun, Chao Zhou, Huaibo Huang

机构 * MAIS \& NLPR, Institute of Automation, Chinese Academy of Sciences, China Kuaishou Tech, China

专题命中 红外-可见光融合 :multi-modal fusion(abstract);分类 cs.CV

AI总结 本文提出ResFlow-Tuner框架,基于FLUX.1-dev模型,结合多模态融合与测试时间缩放,实现高质量图像恢复。通过奖励模型动态调整去噪方向,提升性能并控制计算开销,实验表明其在多个基准上达到最优。

Comments 27 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 遥感融合与全色锐化 2 篇

2603.20811 2026-03-24 cs.CV 57%

Lean Learning Beyond Clouds: Efficient Discrepancy-Conditioned Optical-SAR Fusion for Semantic Segmentation

在云之外的高效学习:基于光- SAR融合的语义分割框架

Chenxing Meng, Wuzhou Quan, Yingjie Cai, Liqun Cao, Liyan Zhang, Mingqiang Wei

机构 * School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)

专题命中 遥感融合与全色锐化 :hybrid fusion(abstract);分类 cs.CV

AI总结 本文提出EDC框架,通过三流编码器和Discrepancy-Conditioned Hybrid Fusion机制提升光- SAR融合的效率和鲁棒性,实验显示在M3M-CR和WHU-OPT-SAR数据集上mIoU提升0.56%和0.88%,参数量减少46.7%。

Comments 14 page, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.20289 2026-03-24 cs.CV 57%

Remote Sensing Image Dehazing: A Systematic Review of Progress, Challenges, and Prospects

遥感图像去雾:进展、挑战与前景的系统综述

Heng Zhou, Xiaoxiong Liu, Zhenxi Zhang, Jieheng Yun, Chengyang Li, Yunchu Yang, Dongyi Xia, Chunna Tian, Xiao-Jun Wu

机构 * School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院) Josef Kittler Research Institute on Artificial Intelligence(乔塞夫·基特勒人工智能研究所) School of Electronic Engineering(电子工程学院) College of Artificial Intelligence(人工智能学院) Aerospace Information Research Institute(航天信息研究所) Department of Computer Science(计算机科学系)

专题命中 遥感融合与全色锐化 :multimodal fusion(abstract);分类 cs.CV

AI总结 本文系统综述了遥感图像去雾的研究进展、挑战与前景,总结了超过30种方法,分析了不同模型在性能上的差异,并提出了未来研究方向。

Comments 82 pages, 23 figures,

Journal ref ISPRS P&RS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 医学影像融合 1 篇

2603.20442 2026-03-24 cs.LG cs.AI 50%

Detecting Neurovascular Instability from Multimodal Physiological Signals Using Wearable-Compatible Edge AI: A Responsible Computational Framework

通过可穿戴设备的边缘AI检测神经血管不稳定性:一种负责任的计算框架

Truong Quynh Hoa, Hoang Dinh Cuong, Truong Xuan Khanh

机构 * H&K Research Studio, Clevix LLC(H&K研究室,Clevix LLC) Department of Cardiology, Hanoi Heart Hospital(心血管科,河内心脏医院)

专题命中 医学影像融合 :multimodal fusion(abstract)

AI总结 本文提出Melaguard框架,通过融合多种生理信号检测神经血管不稳定性,优于单一模态设备,通过三阶段验证提升检测性能。

Comments 11 pages, 8 figures, 6 tables. Submitted to IEEE JBHI. Code: https://github.com/ClevixLab/Melaguard

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 自动驾驶多传感器融合 1 篇

2603.21987 2026-03-24 cs.CV cs.AI 70%

LRC-WeatherNet: LiDAR, RADAR, and Camera Fusion Network for Real-time Weather-type Classification in Autonomous Driving

LRC-WeatherNet:用于自动驾驶中实时天气类型分类的激光雷达、雷达和摄像头融合网络

Nour Alhuda Albashir, Lars Pernickel, Danial Hamoud, Idriss Gouigah, Eren Erdal Aksoy

机构 * Halmstad University, School of Information Technology, Center for Applied Intelligent Systems Research(哈姆斯塔德大学,信息科技学院,应用智能系统研究中心)

专题命中 自动驾驶多传感器融合 :sensor fusion(abstract);multi-sensor fusion(abstract);分类 cs.CV

AI总结 本文提出LRC-WeatherNet,通过融合激光雷达、雷达和摄像头数据,实现在恶劣天气下的实时天气分类,优于单一传感器基线,且在MSU-4S数据集上表现优异。

Comments Accepted for publication at IEEE Intelligent Vehicles Symposium - IVS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

6. 融合架构与评测 5 篇

2603.21660 2026-03-24 cs.CV 57%

OmniFM: Toward Modality-Robust and Task-Agnostic Federated Learning for Heterogeneous Medical Imaging

OmniFM:迈向模态鲁棒且任务无关的联邦学习 for 异质医学影像

Meilin Liu, Jiaying Wang, Jing Shan

机构 * School of Software, Shenyang University of Technology(沈阳理工大学软件学院)

专题命中 融合架构与评测 :multimodal fusion(abstract);分类 cs.CV

AI总结 OmniFM提出一种统一训练分类、分割、超分辨率、视觉问答和多模态融合的联邦学习框架,通过频域洞察提升跨模态一致性,实现任务无关和模态鲁棒的联邦学习。

Comments Accepted by CVPR 2026 (Main)

详情

展开后加载摘要…

URL PDF HTML 收藏
2402.13876 2026-03-24 cs.CV 57%

Scene Prior Filtering for Depth Super-Resolution

场景先验过滤用于深度超分辨率

Zhengxue Wang, Zhiqiang Yan, Ming-Hsuan Yang, Jinshan Pan, Guangwei Gao, Ying Tai, Jian Yang

机构 * PCA Lab, Nanjing University of Science and Technology, China(南京理工大学科学与工程学院实验室) National University of Singapore(新加坡国立大学) University of California, USA, and Yonsei University, South Korea(美国加州大学和韩国延世大学) PCA Lab, Nanjing University, China(南京大学实验室)

专题命中 融合架构与评测 :multi-modal fusion(abstract);分类 cs.CV

AI总结 本文提出SPFNet网络,利用大尺度模型的表面法线和语义图作为先验信息,通过多模态先验传播和一对一先验嵌入减少纹理干扰并提升边缘表示,实现在真实和合成数据集上的超分辨率性能。

Comments Accepted to IJCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.22158 2026-03-24 cs.LG cs.AI 50%

Multimodal Survival Analysis with Locally Deployable Large Language Models

多模态生存分析与可本地部署的大语言模型

Moritz Gögl, Christopher Yau

机构 * University of Oxford(牛津大学)

专题命中 融合架构与评测 :multimodal fusion(abstract)

AI总结 本文提出利用可本地部署的大语言模型进行多模态生存分析,结合临床文本、表格数据和基因组数据,通过教师-学生蒸馏和原理化的多模态融合,实现校准的生存概率估计和简洁的诊断文本生成,优于标准基线并在隐私和准确性方面表现更优。

Comments NeurIPS 2025 Workshop on Multi-modal Foundation Models and Large Language Models for Life Sciences

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.20488 2026-03-24 cs.LG 50%

Spatio-Temporal Grid Intelligence: A Hybrid Graph Neural Network and LSTM Framework for Robust Electricity Theft Detection

时空网格智能:一种融合图神经网络和LSTM的混合框架用于鲁棒的电力盗窃检测

Adewale U. Oguntola, Olowookere A. AbdulQoyum, Adebukola M. Madehin, Adekemi A. Adetoro

机构 * Department Computer Science, Abiola Ajimobi Technical University(计算机科学系,阿比奥米博技术大学) Department of Chemical and Petroleum Engineering, Abiola Ajimobi Technical University(化学与石油工程系,阿比奥米博技术大学)

专题命中 融合架构与评测 :hybrid fusion(abstract)

AI总结 本文提出一种融合时间序列异常检测、监督学习和图神经网络的混合框架,用于在不平衡数据集上高精度检测电力盗窃,实验表明该方法在准确率、召回率和精确率上均优于单一模型。

Comments 16 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.20390 2026-03-24 cs.LG cs.AI 50%

CAMA: Exploring Collusive Adversarial Attacks in c-MARL

CAMA:探索c-MARL中的共谋对抗攻击

Men Niu, Xinxin Fan, Quanliang Jing, Shaoye Luo, Yunfeng Lu

机构 * Institute of Computing Technology, CAS(中国科学院计算技术研究所) UCAS(中国科学技术大学) Beihang University(北京航空航天大学)

专题命中 融合架构与评测 :information fusion(abstract)

AI总结 本文提出CAMA框架,研究c-MARL中的共谋对抗攻击,提出三种新型攻击模式,从理论和实践角度分析攻击效果,并通过实验验证其协同效应和隐蔽性。

详情

展开后加载摘要…

URL PDF HTML 收藏