多模态信息融合

Object Detection and Classification in Occupancy Grid Maps using Deep Convolutional Networks

Sascha Wirges, Tom Fischer, Jesus Balado Frias, Christoph Stiller

专题命中 自动驾驶多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Comments 6 pages, 4 tables, 4 figures

Journal ref 2018 IEEE Intelligent Transportation Systems Conference (ITSC)

Evaluating Visual Odometry Methods for Autonomous Driving in Rain

Yu Xiang Tan, Marcel Bartholomeus Prasetyo, Mohammad Alif Daffa, Deshpande Sunny Nitin, Malika Meghjani

专题命中 自动驾驶多传感器融合 ：sensor fusion(abstract,comments)；分类 cs.RO

Comments A version of the paper presented at IEEE International Conference on Automation Science and Engineering (CASE) 2023. Fixed grammar and phrasing to improve clarity of the statements made. Emphasized on the need for a more robust sensor fusion based approach for localization in rain for autonomous driving

DDStereo: Efficient Dual Decoder Transformers for Stereo 3D Road Anomaly Detection

DDStereo: 用于立体3D道路异常检测的高效双解码器Transformer

Shiyi Mu, Zichong Gu, Zhiqi Ai, Yilin Gao, Shugong Xu

机构 * Shanghai University（上海大学） ； Xi’an Jiaotong-Liverpool University（西交利物浦大学） 纠错

专题命中 自动驾驶多传感器融合 ：feature-level fusion(abstract)；分类 cs.CV

AI总结 提出DDStereo，一种双解码器立体Transformer，通过轻量级解码器分支和紧凑视差特征提取器，实现实时开放集3D目标检测，在封闭和开放集协议下均达到最先进精度。

Comments Accepted by ECCV2026

Sparse4D-Radar: An Efficient and Robust Framework for Surround-View 3D Object Detection via 4D Radar-Camera Fusion

Sparse4D-Radar：一种通过4D雷达-相机融合实现高效且稳健的环视3D目标检测框架

Fuyuan Ai, Yuchen Tan, Jiehui Chen, Zhiwei Xu, Chunyi Song

机构 * State Key Laboratory of Ocean Sensing and Ocean College, Zhejiang University（浙江大学海洋传感与海洋学院海洋传感技术国家重点实验室） ； Engineering Research Center of Oceanic Sensing Technology and Equipment, Ministry of Education, Zhejiang University（浙江大学海洋传感技术与装备教育部工程研究中心） ； Donghai Laboratory（东海实验室） ； Ocean College, Institute of Marine Electronics and Intelligent Systems, Zhejiang University（浙江大学海洋学院海洋电子与智能系统研究所） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 针对4D成像雷达在环视感知缺乏成熟方案的问题，提出Sparse4D-Radar框架。设计可变形融合模块等，经实验验证该框架在环视3D检测性能上达先进水平，兼顾精度、鲁棒性与效率。

Comments 13 pages, 6 figures

Uncertainty-Aware Hybrid Machine Learning in Virtual Sensors for Vehicle Sideslip Angle Estimation

面向车辆侧倾角估计的不确定性感知混合机器学习虚拟传感器

Abinav Kalyanasundaram, Karthikeyan Chandra Sekaran, Philipp Stauber, Michael Lange, Wolfgang Utschick, Michael Botsch

机构 * CARISSMA Institute of Automated Driving, Technische Hochschule Ingolstadt（CARISSMA自动化驾驶研究所，因戈尔施塔特技术大学） ； GeneSys Elektronik GmbH（GeneSys电子 GmbH） ； Technische Universität München（慕尼黑技术大学） 纠错

专题命中 自动驾驶多传感器融合 ：hybrid fusion(abstract)；分类 cs.RO

AI总结 本文提出不确定性感知混合学习架构，通过融合机器学习与车辆运动模型，提升车辆状态估计精度，同时引入新的数据集ReV-StED验证方法有效性。

Comments Accepted at the 2025 IEEE Intelligent Vehicles Symposium (IV)

Journal ref 2025 IEEE Intelligent Vehicles Symposium (IV)

Three-Step Hierarchical Transformer for Multi-Pedestrian Trajectory Prediction

三步层次Transformer用于多人轨迹预测

Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

机构 * IMT Nord Europe, University of Lille, CNRS UMR 9189 - CRIStAL（IMT 北欧洲、里尔大学、法国国家科学研究中心 UMR 9189 - CRIStAL） ； University of Lille, CNRS UMR 9189 - CRIStAL（里尔大学、法国国家科学研究中心 UMR 9189 - CRIStAL） ； Explain 纠错

专题命中 自动驾驶多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 提出三步层次Transformer，通过分离时间编码、多模态融合和场景交互推理，在JRDB和城市数据集上达到最先进性能。

GraphBEV++: Multi-Modal Feature Alignment for Autonomous Driving

GraphBEV++: 自动驾驶中的多模态特征对齐

Ziying Song, Caiyan Jia, Lin Liu, Shaoqing Xu, Lei Yang, Yadan Luo

机构 * Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院，交通数据挖掘与具身智能北京市重点实验室） ； School of Artificial Intelligence (School of Software), Yanshan University（燕山大学人工智能学院（软件学院）） ； University of Macau（澳门大学） ； Nanyang Technological University（南洋理工大学） ； The University of Queensland（昆士兰大学） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 针对自动驾驶中BEV感知的特征未对齐问题，提出GraphBEV++框架，通过局部对齐（LocalAlign-v2）和全局对齐（GlobalAlign-v2）模块，利用图匹配、可变形偏移和扩散去噪方法，在多种基准上实现最优性能。

Comments 30 pages, 7 figures

ATN3D: Density-Aware LiDAR-Radar Early 3D Object Detection Under Extreme Sparsity

ATN3D：面向极端稀疏性的密度感知激光雷达-雷达早期3D目标检测

Debojyoti Biswas, Xianbiao Hu

机构 * University of California, Berkeley（加州大学伯克利分校） ； Tsinghua University（清华大学） 纠错

专题命中 自动驾驶多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 针对远距离稀疏感知下早期融合丢失信息、通道监督不均衡的问题，提出ATN3D框架，通过密度感知融合、占用门控邻域聚合、证据条件通道自注意力和距离感知损失，在VoD数据集上显著提升远距离检测性能。

LAP: Fast LAtent Diffusion Planner for Autonomous Driving

LAP：面向自动驾驶的快速潜在扩散规划器

Jinhao Zhang, Wenlong Xia, Zhexuan Zhou, Haoming Song, Youmin Gong, Jie Mei

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 自动驾驶多传感器融合 ：information fusion(abstract)；分类 cs.RO

AI总结 提出LAP框架，在VAE学习的潜在空间中进行规划，通过单步去噪实现高质量规划，在nuPlan基准上达到学习型规划方法的最优闭环性能，推理速度提升高达10倍。

Can BEV Perception Gracefully Degrade under Sensor Failures?

BEV感知能否在传感器故障下优雅降级？

Haifa Zhang, Yijing Wang, Haoyu Wang, Zheng Li, Zhiqiang Zuo

机构 * Tianjin Key Laboratory of Intelligent Unmanned Swarm Technology and System（天津智能无人群技术与系统重点实验室） ； School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院） ； Key Laboratory of System Control and Information Processing, Ministry of Education of China（系统控制与信息处理重点实验室，中华人民共和国教育部） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 针对多模态BEV感知在传感器损坏时性能骤降的问题，提出Grace-BEV框架，通过主动可靠性评估和动态特征重校准实现优雅降级，在极端LiDAR故障下将mAP从0.0%恢复至34.7%。

MOTOR: A Multimodal Dataset for Two-Wheeler Rider Behavior Understanding

MOTOR: 两轮车骑行行为理解的多模态数据集

Varun A. Paturkar, Shankar Gangisetty, C. V. Jawahar

机构 * CVIT, IIIT-Hyderabad（IIIT-海得拉巴学院计算机视觉研究所） 纠错

专题命中 自动驾驶多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出MOTOR数据集，用于研究两轮车在密集无结构交通中的骑行行为，通过多视角、多模态数据融合，为自动驾驶辅助系统提供新的研究基础。

Deformba: Vision State Space Model with Adaptive State Fusion

Deformba：具有自适应状态融合的视觉状态空间模型

Hongyu Ke, Jack Morris, Yongkang Liu, Satoshi Kitai, Kentaro Oguchi, Yi Ding, Haoxin Wang

机构 * Department of Computer Science, Georgia State University（佐治亚州立大学计算机科学系） ； University of Tennessee Knoxville（田纳西大学肯纳邦克分校） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 本文提出Deformba，一种能够动态增强空间结构信息并保持状态空间模型线性复杂度的自适应方法，通过多模态融合（如交叉注意力）提升视觉任务的性能，展示了在2D和3D视觉任务中的广泛适用性。

Journal ref Forty-Third International Conference on Machine Learning (ICML 2026)

RCGDet3D: Rethinking 4D Radar-Camera Fusion-based 3D Object Detection with Enhanced Radar Feature Encoding

RCGDet3D: 重新思考基于增强雷达特征编码的4D雷达-相机融合3D目标检测

Weiyi Xiong, Bing Zhu

机构 * School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 本文提出RCGDet3D，通过增强雷达特征编码而非复杂的多模态融合策略，实现了在3D目标检测中更高的准确性和实时性，为实时部署设定了新标准。

REFNet++: Multi-Task Efficient Fusion of Camera and Radar Sensor Data in Bird's-Eye Polar View

REFNet++：多任务高效融合摄像头和雷达传感器数据的鸟瞰极坐标视图

Kavin Chandrasekaran, Sorin Grigorescu, Gijs Dubbelman, Pavol Jancura

机构 * ElektroBit Automotive GmbH ； Eindhoven University of Technology（埃因霍温理工大学） ； Transilvania University of Brasov（布拉索夫特拉扬大学） 纠错

专题命中 自动驾驶多传感器融合 ：sensor fusion(abstract)；分类 cs.CV

AI总结 本文提出REFNet++，通过统一域对齐摄像头和雷达数据，实现车辆检测和自由空间分割的高效多模态融合，提升环境感知的准确性和效率。

Comments IEEE Intelligent Transportation Systems Conference (ITSC) 2025

SB-BEVFusion: Enhancing the Robustness against Sensor Malfunction and Corruptions

SB-BEVFusion：增强对传感器故障和损坏的鲁棒性

Markus Essl, Marta Moscati, Mubashir Noman, Muhammad Zaigham Zaheer, Usman Naseem, Shah Nawaz, Markus Schedl

机构 * Johannes Kepler University Linz（约翰·凯撒大学林茨分校） ； MBZUAI（穆罕默德·本·拉希德人工智能研究所） ； Macquarie University（麦考瑞大学） ； Linz Institute of Technology（林茨技术学院） 纠错

专题命中 自动驾驶多传感器融合 ：sensor fusion(abstract)；分类 cs.CV

AI总结 本文提出SB-BEVFusion框架，通过处理缺失或损坏的相机和激光雷达数据，提升自动驾驶3D目标检测在传感器故障和损坏场景下的鲁棒性。

Comments Accepted at ICIP 2026

ParkingScenes: A Structured Dataset for End-to-End Autonomous Parking in Simulation Scenes

ParkingScenes: 一个用于模拟场景中端到端自动驾驶泊车的结构化数据集

Haonan Chen, Kaiwen Xiao, Bin Tian, Jun Fu

机构 * Institute of Automation（自动化研究所） ； Chinese Academy of Sciences（中国科学院） ； School of Art and Design（艺术与设计学院） 纠错

专题命中 自动驾驶多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本文提出ParkingScenes数据集，通过结构化轨迹生成提升泊车性能，展示结构化监督对自主泊车政策学习的有效性。

Comments Accepted by CAC 2025

A BEV-Fusion Based Framework for Sequential Multi-Modal Beam Prediction in mmWave Systems

基于BEV融合的毫米波系统中顺序多模束预测框架

Jiaming Zeng, Cunhua Pan, Haoyang Weng, Ruijing Liu, Hong Ren, Jiangzhou Wang

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 eess.SP

AI总结 本文提出基于BEV融合的框架，通过统一相机、激光雷达、雷达和GPS模态，在共享鸟瞰图表示中实现空间一致的多模融合，提升毫米波系统中束预测的准确性。

Comments 13pages,7figures

Gau-Occ: Geometry-Completed Gaussians for Multi-Modal 3D Occupancy Prediction

Gau-Occ：用于多模态3D占用预测的几何完备高斯分布

Chengxin Lv, Yihui Li, Hongyu Yang, YunHong Wang

机构 * State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室，北京航空航天大学，北京，中国） ； School of Computer Science and Engineering, Beihang University, Beijing, China（计算机科学与工程学院，北京航空航天大学，北京，中国） ； School of Artificial Intelligence, Beihang University, Beijing, China（人工智能学院，北京航空航天大学，北京，中国） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 Gau-Occ通过几何完备的3D高斯分布实现多模态3D占用预测，利用LiDAR完成扩散器恢复缺失结构并融合多视角图像语义，提升空间一致性和语义区分性。

SEF-MAP: Subspace-Decomposed Expert Fusion for Robust Multimodal HD Map Prediction

SEF-MAP：子空间分解专家融合用于鲁棒多模态高精度地图预测

Haoxiang Fu, Lingfeng Zhang, Hao Li, Ruibing Hu, Zhengrong Li, Guanjing Liu, Zimu Tan, Long Chen, Hangjun Ye, Xiaoshuai Hao

机构 * National University of Singapore（新加坡国立大学） ； Xiaomi EV（小米电动车） ； Chinese University of Hong Kong（香港中文大学） ； The University of Manchester（曼彻斯特大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 SEF-MAP通过子空间分解和专家融合，提升多模态HD地图预测的鲁棒性和准确性。

MambaFusion: Adaptive State-Space Fusion for Multimodal 3D Object Detection

MambaFusion：多模态3D目标检测的自适应状态空间融合

Venkatraman Narayanan, Bala Sai, Rahul Ahuja, Pratik Likhar, Varun Ravi Kumar, Senthil Yogamani

机构 * Qualcomm Technologies, Inc（高通技术公司） ； Qualcomm India Private Limited（高通印度私人有限公司） 纠错

专题命中 自动驾驶多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 MambaFusion通过结合选择性状态空间模型与窗口化变换器，实现高效且可靠的多模态3D目标检测，提升自动驾驶系统的感知能力。

From Features to Reference Points: Lightweight and Adaptive Fusion for Cooperative Autonomous Driving

从特征到参考点：轻量且自适应的融合用于协同自动驾驶

Yongqi Zhu, Morui Zhu, Qi Chen, Deyuan Qu, Isabella Luo, Song Fu, Qing Yang

机构 * University of North Texas（北卡罗来纳大学达灵顿分校） ； Toyota InfoTech Labs（丰田信息技术实验室） ； The Hockaday School（霍克达伊学校） 纠错

专题命中 自动驾驶多传感器融合 ：feature-level fusion(abstract)；分类 cs.CV

AI总结 RefPtsFusion通过交换紧凑的参考点实现轻量且自适应的协同自动驾驶融合，显著降低通信开销并保持感知性能。

Comments v2: Updated author list to reflect contributions to this work

Diffusion-Based Restoration for Multi-Modal 3D Object Detection in Adverse Weather

基于扩散的多模态3D物体检测在恶劣天气中的修复

Zhijian He, Feifei Liu, Yuwei Li, Zhanpeng Luo, Jintao Cheng, Xieyuanli Chen, Xiaoyu Tang

机构 * School of Xingzhi College, South China Normal University（星智学院，华南师范大学） ； College of Big Data and Internet, Shenzhen Technology University（大数据与互联网学院，深圳科技大学） ； School of Data Science and Engineering, Xingzhi College, South China Normal University（数据科学与工程学院，星智学院，华南师范大学） ； Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（电子与计算机工程系，香港科技大学） ； College of Intelligence Science and Technology, National University of Defense Technology（智能科学与技术学院，国防科技大学） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 DiffFusion通过基于扩散的修复和自适应跨模态融合，提升多模态3D物体检测在恶劣天气中的鲁棒性与清洁数据性能。

REOcc: Camera-Radar Fusion with Radar Feature Enrichment for 3D Occupancy Prediction

Chaehee Song, Sanmin Kim, Hyeonjun Jeong, Juyeb Shin, Joonhee Lim, Dongsuk Kum

机构 * School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电子工程学院） ； Department of Automobile and IT Convergence, Kookmin University（韩国庆熙大学汽车与IT融合系） ； Cho Chun Shik Graduate School of Mobility, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院移动技术研究生院） ； Robotics Program, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院机器人项目） 纠错

专题命中 自动驾驶多传感器融合 ：sensor fusion(abstract)；分类 cs.CV

Comments IROS 2025

UniLION: Towards Unified Autonomous Driving Model with Linear Group RNNs

Zhe Liu, Jinghua Hou, Xiaoqing Ye, Jingdong Wang, Hengshuang Zhao, Xiang Bai

机构 * School of Electronic Information and Communications, Huazhong University of Science and Technology (HUST), Wuhan, China（华中科技大学电子信息与通信学院） ； School of Software Engineering, Huazhong University of Science and Technology (HUST), Wuhan, China（华中科技大学软件工程学院） ； Department of Computer Science, The University of Hong Kong, Hong Kong (HKU) SAR, China（香港大学计算机系） ； Baidu Inc., Beijing, China（百度公司） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

SFGFusion: Surface Fitting Guided 3D Object Detection with 4D Radar and Camera Fusion

Xiaozhi Li, Huijun Di, Jian Li, Feng Liu, Wei Liang

机构 * Radar Technology Research Institute, School of Information and Electronics, Beijing Institute of Technology（雷达技术研究院，信息电子学院，北京理工大学） ； School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） ； Innovative Equipment Research Institute, Beijing Institute of Technology（创新装备研究院，北京理工大学） ； Key Laboratory of Electronic and Information Technology in Satellite Navigation (Beijing Institute of Technology), Ministry of Education（卫星导航电子信息技术重点实验室（北京理工大学），教育部） ； Beijing Racobit Electronic Information Technology Co., Ltd.（北京瑞科比特电子信息技术有限公司） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV

Comments Submitted to Pattern Recognition

TriFusion-AE: Language-Guided Depth and LiDAR Fusion for Robust Point Cloud Processing

Susmit Neogi

机构 * Department of Mechanical Engineering（机械工程系） ； Indian Institute of Technology Bombay（印度理工学院班加罗尔） ； Mumbai, India（孟买，印度） 纠错

专题命中 自动驾驶多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop

PIE: Perception and Interaction Enhanced End-to-End Motion Planning for Autonomous Driving

Chengran Yuan, Zijian Lu, Zhanqi Zhang, Yimin Zhao, Zefan Huang, Shuo Sun, Jiawei Sun, Jiahui Li, Christina Dao Wen Lee, Dongen Li, Marcelo H. Ang

机构 * Department of Mechanical Engineering, National University of Singapore（机械工程系，国立新加坡大学） ； Department of Civil and Environmental Engineering, National University of Singapore（土木与环境工程系，国立新加坡大学） 纠错

专题命中 自动驾驶多传感器融合 ：multimodal fusion(abstract)；分类 cs.RO

MUVO: A Multimodal Generative World Model for Autonomous Driving with Geometric Representations

Daniel Bogdoll, Yitian Yang, Tim Joseph, Melih Yazgan, J. Marius Zöllner

机构 * FZI Research Center for Information Technology, Germany（德国弗赖堡信息科技研究中心） ； Karlsruhe Institute of Technology, Germany（德国卡尔斯鲁厄理工学院） 纠错

专题命中 自动驾驶多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

Comments Daniel Bogdoll and Yitian Yang contributed equally. Accepted for publication at IV 2025

Noise-Aware Generative Microscopic Traffic Simulation

Vindula Jayawardana, Catherine Tang, Junyi Ji, Jonah Philion, Xue Bin Peng, Cathy Wu

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Vanderbilt University（范德比大学） ； NVIDIA Corporation（NVIDIA公司） 纠错

专题命中 自动驾驶多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

MetaOcc: Spatio-Temporal Fusion of Surround-View 4D Radar and Camera for 3D Occupancy Prediction with Dual Training Strategies

Long Yang, Lianqing Zheng, Wenjin Ai, Minghao Liu, Sen Li, Qunshu Lin, Shengyu Yan, Jie Bai, Zhixiong Ma, Tao Huang, Xichan Zhu

机构 * School of Automotive Studies, Tongji University（同济大学汽车学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Automobile, Chang'an University（长安大学汽车学院） ； School of Information and Electrical Engineering, Hangzhou City University（杭州城市学院信息与电气工程学院） ； College of Science and Engineering, James Cook University（詹姆斯库克大学科学与工程学院） 纠错

专题命中 自动驾驶多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV