arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

多模态信息融合

面向图像、视频、多传感器和跨模态感知的信息融合,包括 Image Fusion、红外可见光、遥感、医学影像、LiDAR/雷达/相机和音视频融合。

共收录 13 信号源:cs.CV, eess.IV, eess.SP, cs.RO, cs.MM

1. 自动驾驶多传感器融合 13 篇

2607.00746 2026-07-02 cs.CV cs.AI 新提交 83%

GaussianFusion: Unified 3D Gaussian Representation for Multi-Modal Fusion Perception

GaussianFusion:用于多模态融合感知的统一3D高斯表示

Xiao Zhao, Chang Liu, Mingxu Zhu, Zheyuan Zhang, Linna Song, Qingliang Luo, Chufan Guo, Kuifeng Su

机构 * Tencent, Autonomous Driving Lab(腾讯自动驾驶实验室)

专题命中 自动驾驶多传感器融合 :multi-modal fusion(title,abstract);multimodal fusion(abstract);分类 cs.CV

AI总结 提出基于3D高斯表示的多模态融合框架GaussianFusion,通过连续3D高斯空间统一多模态特征,保留细节,支持多种3D感知任务,在nuScenes上检测NDS提升2.6,占用预测mIoU提升1.55且速度提升450%。

Comments ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27556 2026-06-29 cs.CV cs.RO 新提交 81%

Radar Guided Camera Verification for Automatic Emergency Braking Rethinking Object Detection in Radar Camera Fusion

雷达引导的自动紧急制动摄像头验证:重新思考雷达摄像头融合中的目标检测

Ram Charan Akula, Sivanathan Kandhasamy, Manikandan Ganesan

机构 * Autonomous Systems Lab, Department of Mechatronics Engineering, SRM Institute of Science and Technology(SRM科学与技术学院机电工程系自主系统实验室) Centre for Electric Mobility, Department of EEE, SRM Institute of Science and Technology(SRM科学与技术学院电气与电子工程系电动出行中心)

专题命中 自动驾驶多传感器融合 :radar camera fusion(title,abstract);分类 cs.CV、cs.RO

AI总结 提出一种雷达引导的边缘密度门控方法,在无需训练数据和GPU的情况下,通过缩小摄像头搜索空间实现高效障碍物验证,在真实车辆测试中达到98.7%的搜索空间缩减和零漏刹。

Comments 8 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.09143 2026-06-09 cs.CV 新提交 79%

CAMF-Det: Closure-Aware Multimodal Fusion for LiDAR-Camera 3D Object Detection on UAV Platforms

CAMF-Det: 面向无人机平台的激光雷达-相机闭合感知多模态融合3D目标检测

Yanze Jiang, Yanfeng Gu, Xian Li

机构 * School of Electronics and Information Engineering, Harbin Institute of Technology(哈尔滨工业大学电子与信息工程学院)

专题命中 自动驾驶多传感器融合 :multimodal fusion(title,abstract);分类 cs.CV

AI总结 针对无人机俯视场景中树冠遮挡导致的多模态信息退化问题,提出基于比尔-朗伯定律的闭合感知融合框架CAMF-Det,通过显式建模双模态遮挡强度并注入检测流程,在自建数据集上实现困难级别mAP_BEV提升9.43%和4.88%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01772 2026-07-03 cs.CV eess.SP 新提交 76%

LLM-Empowered Multimodal Fusion Framework for Autonomous Driving: Semantic Enhancement and Channel-Adaptive Design

LLM赋能的自动驾驶多模态融合框架:语义增强与信道自适应设计

Wen Wang, Yaping Sun, Yejun He, Hao Chen, Zhiyong Chen, Xiaodong Xu, Nan Ma, Shuguang Cui

机构 * National Natural Science Foundation of China(国家自然科学基金) Shenzhen Natural Science Foundation(深圳市自然科学基金) Shenzhen Key Laboratory Evaluation(深圳市重点实验室评估)

专题命中 自动驾驶多传感器融合 :multimodal fusion(title);分类 cs.CV、eess.SP

AI总结 提出LM-SCIP框架,以LLM为核心推理中枢,通过信道自适应语义模块动态融合视觉与雷达特征,实现低信噪比下的视觉主导回退和高信噪比下的协同融合,在nuScenes和VIRAT数据集上显著提升定位精度。

Comments 6 pages, 4 figures. Accepted by 2026 IEEE 37th International Symposium on Personal, Indoor and Mobile Radio Communications (PIMRC)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22698 2026-07-28 cs.CV 新提交 70%

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

FogDrive:用于分级雾天感知的多模态合成驾驶数据集

Vansh Panwar

机构 * Indian Institute of Technology, Guwahati(印度理工学院古瓦哈提分校)

专题命中 自动驾驶多传感器融合 :multi-modal fusion(abstract);sensor fusion(abstract);分类 cs.CV

AI总结 FogDrive是用于分级雾天感知的多模态合成驾驶数据集,基于CARLA模拟器构建,含多种传感器数据,模拟不同密度雾。通过跨两种范式建立基线基准,得出训练中混合多密度雾可收紧3D边界框几何形状等见解,将开源加速多模态研究。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08844 2026-06-09 cs.CV cs.RO 新提交 62%

Geometry-Aware Fisheye-LiDAR Fusion for Robust 3D Object Detection in Low-Overlap Setups

几何感知鱼眼-激光雷达融合用于低重叠设置下的鲁棒3D目标检测

Xiangzhong Liu, Xihao Wang, Hao Shen

机构 * Technical University of Munich(慕尼黑工业大学)

专题命中 自动驾驶多传感器融合 :hybrid fusion(abstract);分类 cs.CV、cs.RO

AI总结 针对稀疏视角下鱼眼相机与激光雷达的几何畸变和低重叠问题,提出几何感知混合融合框架,通过畸变感知LSS模块和双注意力校正模块实现极坐标与笛卡尔特征融合,在三个基准上提升检测精度。

Comments 8 pages, 4 figures, submitted to RA-L

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24805 2026-07-08 cs.CV 新提交 57%

DDStereo: Efficient Dual Decoder Transformers for Stereo 3D Road Anomaly Detection

DDStereo: 用于立体3D道路异常检测的高效双解码器Transformer

Shiyi Mu, Zichong Gu, Zhiqi Ai, Yilin Gao, Shugong Xu

机构 * Shanghai University(上海大学) Xi’an Jiaotong-Liverpool University(西交利物浦大学)

专题命中 自动驾驶多传感器融合 :feature-level fusion(abstract);分类 cs.CV

AI总结 提出DDStereo,一种双解码器立体Transformer,通过轻量级解码器分支和紧凑视差特征提取器,实现实时开放集3D目标检测,在封闭和开放集协议下均达到最先进精度。

Comments Accepted by ECCV2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04098 2026-07-07 cs.CV 新提交 57%

Sparse4D-Radar: An Efficient and Robust Framework for Surround-View 3D Object Detection via 4D Radar-Camera Fusion

Sparse4D-Radar:一种通过4D雷达-相机融合实现高效且稳健的环视3D目标检测框架

Fuyuan Ai, Yuchen Tan, Jiehui Chen, Zhiwei Xu, Chunyi Song

机构 * State Key Laboratory of Ocean Sensing and Ocean College, Zhejiang University(浙江大学海洋传感与海洋学院海洋传感技术国家重点实验室) Engineering Research Center of Oceanic Sensing Technology and Equipment, Ministry of Education, Zhejiang University(浙江大学海洋传感技术与装备教育部工程研究中心) Donghai Laboratory(东海实验室) Ocean College, Institute of Marine Electronics and Intelligent Systems, Zhejiang University(浙江大学海洋学院海洋电子与智能系统研究所)

专题命中 自动驾驶多传感器融合 :multi-modal fusion(abstract);分类 cs.CV

AI总结 针对4D成像雷达在环视感知缺乏成熟方案的问题,提出Sparse4D-Radar框架。设计可变形融合模块等,经实验验证该框架在环视3D检测性能上达先进水平,兼顾精度、鲁棒性与效率。

Comments 13 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23058 2026-06-23 cs.CV 新提交 57%

Three-Step Hierarchical Transformer for Multi-Pedestrian Trajectory Prediction

三步层次Transformer用于多人轨迹预测

Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

机构 * IMT Nord Europe, University of Lille, CNRS UMR 9189 - CRIStAL(IMT 北欧洲、里尔大学、法国国家科学研究中心 UMR 9189 - CRIStAL) University of Lille, CNRS UMR 9189 - CRIStAL(里尔大学、法国国家科学研究中心 UMR 9189 - CRIStAL) Explain

专题命中 自动驾驶多传感器融合 :multimodal fusion(abstract);分类 cs.CV

AI总结 提出三步层次Transformer,通过分离时间编码、多模态融合和场景交互推理,在JRDB和城市数据集上达到最先进性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16354 2026-06-16 cs.CV 新提交 57%

GraphBEV++: Multi-Modal Feature Alignment for Autonomous Driving

GraphBEV++: 自动驾驶中的多模态特征对齐

Ziying Song, Caiyan Jia, Lin Liu, Shaoqing Xu, Lei Yang, Yadan Luo

机构 * Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院,交通数据挖掘与具身智能北京市重点实验室) School of Artificial Intelligence (School of Software), Yanshan University(燕山大学人工智能学院(软件学院)) University of Macau(澳门大学) Nanyang Technological University(南洋理工大学) The University of Queensland(昆士兰大学)

专题命中 自动驾驶多传感器融合 :multi-modal fusion(abstract);分类 cs.CV

AI总结 针对自动驾驶中BEV感知的特征未对齐问题,提出GraphBEV++框架,通过局部对齐(LocalAlign-v2)和全局对齐(GlobalAlign-v2)模块,利用图匹配、可变形偏移和扩散去噪方法,在多种基准上实现最优性能。

Comments 30 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.09634 2026-06-09 cs.CV cs.AI 新提交 57%

ATN3D: Density-Aware LiDAR-Radar Early 3D Object Detection Under Extreme Sparsity

ATN3D:面向极端稀疏性的密度感知激光雷达-雷达早期3D目标检测

Debojyoti Biswas, Xianbiao Hu

机构 * University of California, Berkeley(加州大学伯克利分校) Tsinghua University(清华大学)

专题命中 自动驾驶多传感器融合 :multimodal fusion(abstract);分类 cs.CV

AI总结 针对远距离稀疏感知下早期融合丢失信息、通道监督不均衡的问题,提出ATN3D框架,通过密度感知融合、占用门控邻域聚合、证据条件通道自注意力和距离感知损失,在VoD数据集上显著提升远距离检测性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28274 2026-06-29 cs.LG cs.AI 新提交 50%

Parameter Efficient Hybrid Transformer (PEHT) for Network Traffic Prediction via Dynamic Urban Congestion Integration

参数高效混合Transformer(PEHT)用于通过动态城市拥堵整合进行网络流量预测

Abdolazim Rezaei, Mehdi Sookhak, Mahboobeh Haghparast

机构 * National Science Foundation(国家科学基金会) U.S. Department of Transportation(美国交通部) University Transportation Center (UTC)(大学交通中心) Transportation Cybersecurity Center for Advanced Research and Education (CYBER-CARE)(交通网络安全高级研究与教育中心) NVIDIA Academic Grant Program(NVIDIA学术资助计划)

专题命中 自动驾驶多传感器融合 :multimodal fusion(abstract)

AI总结 提出参数高效混合Transformer(PEHT),通过低秩适应和多模态融合整合城市移动性与拥堵信息,在减少参数的同时提升网络流量预测精度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.09532 2026-06-09 cs.CY cs.CL 新提交 50%

Interpretable Crisis Behavior Analysis Using Mobility and Social Media Data

基于移动性和社交媒体数据的可解释危机行为分析

Muhammad Hamza Arshad Majeed, Sidahmed Benabderrahmane, Talal Rahwan

机构 * New York University (NYUAD)(纽约大学(NYUAD))

专题命中 自动驾驶多传感器融合 :multimodal fusion(abstract)

AI总结 提出统一可解释流水线,融合移动性和社交媒体数据,通过形式概念分析和关联规则挖掘,识别危机中跨域行为模式,并在洛杉矶山火和COVID-19案例中验证,生成可操作的政策简报。

详情

展开后加载摘要…

URL PDF HTML 收藏