arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

多模态信息融合

面向图像、视频、多传感器和跨模态感知的信息融合,包括 Image Fusion、红外可见光、遥感、医学影像、LiDAR/雷达/相机和音视频融合。

2026-06-01 至 2026-06-01 共收录 7 信号源:cs.CV, eess.IV, eess.SP, cs.RO, cs.MM

1. 红外-可见光融合 1 篇

2605.30939 2026-06-01 cs.CV 57%

IAF-Net: Illumination-Adaptive Fusion for Low-Light Urban Road Segmentation

IAF-Net:用于低光照城市道路分割的照明自适应融合网络

Bingtao Wang, Daojie Peng, Fulong Ma, Jun Ma, Liang Zhang

机构 * The Shandong University(山东大学) The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))

专题命中 红外-可见光融合 :multi-modal fusion(abstract);分类 cs.CV

AI总结 提出IAF-Net,通过照明自适应融合模块动态调整RGB与几何特征的融合权重,并利用亮度调制注意力解码器增强低光照特征选择,实现不同光照条件下鲁棒的道路分割。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 自动驾驶多传感器融合 1 篇

2605.30983 2026-06-01 cs.CV 57%

Can BEV Perception Gracefully Degrade under Sensor Failures?

BEV感知能否在传感器故障下优雅降级?

Haifa Zhang, Yijing Wang, Haoyu Wang, Zheng Li, Zhiqiang Zuo

机构 * Tianjin Key Laboratory of Intelligent Unmanned Swarm Technology and System(天津智能无人群技术与系统重点实验室) School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院) Key Laboratory of System Control and Information Processing, Ministry of Education of China(系统控制与信息处理重点实验室,中华人民共和国教育部)

专题命中 自动驾驶多传感器融合 :multi-modal fusion(abstract);分类 cs.CV

AI总结 针对多模态BEV感知在传感器损坏时性能骤降的问题,提出Grace-BEV框架,通过主动可靠性评估和动态特征重校准实现优雅降级,在极端LiDAR故障下将mAP从0.0%恢复至34.7%。

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 机器人多传感器融合 1 篇

2410.15475 2026-06-01 cs.CV 74%

Multimodal Fusion via Self-Consistent Task-Gradient Fields

通过自洽任务梯度场的多模态融合

Jiayu Xiong, Jing Wang, Jun Xue, Wanlong Wang, Jianlong Kwan, Xiaosen Lyu, Zhouqiang Jiang

机构 * Xiamen Key Laboratory of Computer Vision and Pattern Recognition, Huaqiao University, Xiamen, Fujian, China(厦门计算机视觉与模式识别重点实验室,华侨大学,厦门,福建,中国) Huaqiao University, Xiamen, Fujian, China(华侨大学,厦门,福建,中国) Wuhan University, Wuhan, Hubei, China(武汉大学,武汉,湖北,中国) Nakashima Lab, SANKEN, The University of Osaka, Osaka, Japan(Nakashima实验室,SANKEN,大阪大学,大阪,日本)

专题命中 机器人多传感器融合 :multimodal fusion(title);分类 cs.CV

AI总结 提出自洽场自编码器(SCFAE),利用自洽场原理平衡任务学习与特征组织,通过任务损失和重构损失在互补子空间中分离特征,从而鲁棒处理缺失数据和不均匀输入。

Comments ICML 2026 accepted paper

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 音视频/视觉语言融合 2 篇

2512.02743 2026-06-01 cs.CV cs.AI 79%

Reasoning-Aware Multimodal Fusion for Hateful Video Detection

面向仇恨视频检测的推理感知多模态融合

Shuonan Yang, Tailin Chen, Jiangbei Yue, Guangliang Cheng, Jianbo Jiao, Zeyu Fu

机构 * Multimodal Intelligence Lab(多模态智能实验室) Department of Computer Science(计算机科学系) University of Exeter(埃克塞特大学) School of Computer Science(计算机科学学院) University of Leeds(利兹大学) School of Computer Science and Informatics(计算机科学与信息学学院) University of Liverpool(利物浦大学) University of Birmingham(伯明翰大学) Machine Intelligence + x Group(机器智能+X小组)

专题命中 音视频/视觉语言融合 :multimodal fusion(title,abstract);分类 cs.CV

AI总结 提出推理感知多模态融合框架,通过局部-全局上下文融合和语义交叉注意力实现多模态交互,并引入对抗推理生成互补语义视角,在仇恨视频检测中提升Macro-F1和召回率3%和7%。

Comments Accepted at Transactions on Machine Learning Research (TMLR)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.06453 2026-06-01 cs.AI 50%

ConSensus: Multi-Agent Collaboration for Multimodal Sensing

ConSensus:面向多模态感知的多智能体协作

Hyungjun Yoon, Mohammad Malekzadeh, Sung-Ju Lee, Fahim Kawsar, Lorena Qendro

机构 * KAIST(韩国科学技术院) Nokia Bell Labs(诺基亚贝尔实验室) University of Glasgow(格拉斯哥大学)

专题命中 音视频/视觉语言融合 :hybrid fusion(abstract)

AI总结 提出ConSensus,一种无需训练的多智能体协作框架,通过将多模态感知任务分解为专用智能体并采用混合融合机制,在五个基准上平均准确率提升7.1%,融合token成本降低12.7倍。

Comments Accepted to ACL 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 融合架构与评测 2 篇

2605.31193 2026-06-01 cs.LG 78%

Geometry-based Schrödinger Bridges for Trustworthy Multimodal Fusion

基于几何的薛定谔桥用于可信多模态融合

Jiayu Xiong, Jing Wang, Qi Zhang, Wanlong Wang, Jun Xue

机构 * Department of Computer Science(计算机科学系) Techonology, Huaqiao University(技术学系,华侨大学) Xiamen Key Laboratory of Computer Vision(厦门计算机视觉实验室) Pattern Recognition, Huaqiao University(模式识别,华侨大学) Tongji University(同济大学) School of Cyber Science(网络科学学院) Engineering, Wuhan University(工程学院,武汉大学)

专题命中 融合架构与评测 :multimodal fusion(title,abstract)

AI总结 提出基于几何的多模态融合方法GMF,利用扩散薛定谔桥的初始速度平方作为独立于预测的可靠性信号,以提升对低质量数据的鲁棒性。

Comments ICML 2026 accepted paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19233 2026-06-01 cs.CR cs.LG quant-ph 50%

Quantum Machine Learning for Cyber-Physical Anomaly Detection in Unmanned Aerial Vehicles: A Leakage-Free Evaluation with Proxy-Audited Feature Sets

量子机器学习在无人机网络物理异常检测中的应用:基于代理审计特征集的无泄漏评估

Carlos A. Durán Paredes, Javier E. León Calderón, Nicolás Sánchez Perea, Germán Darío Díaz, Camilo Segura Quintero

机构 * Corporation for Aerospace Initiatives, Research and Innovation (CASIRI)(航空航天研究与创新公司) Department of Electronics Engineering, Universidad Nacional de Colombia(国立哥伦比亚大学电子工程系) Department of Electronics Engineering, Universidad del Cauca(卡利学院电子工程系) Department of Physics, Universidad del Cauca(卡利大学物理系)

专题命中 融合架构与评测 :sensor fusion(abstract)

AI总结 针对无人机网络物理攻击,提出无泄漏评估框架,结合分组时间协议、三模式特征审计和混合XGBoost+数据重上传分类器,验证量子增强混合方法的增量优势。

Comments 10 pages, 7 figures, 1 table; open Qiskit 2.x implementation available at https://github.com/Carlosandp/TLM-UAV-Quantum-Anomaly-Detection

详情

展开后加载摘要…

URL PDF HTML 收藏