多模态信息融合

SUNSET - A Sensor-fUsioN based semantic SegmEnTation exemplar for ROS-based self-adaptation

SUNSET -- 一种基于传感器融合的语义分割示例，用于基于ROS的自适应系统

Andreas Wiedholz, Rafael Paintner, Alwin Hoffmann, Carlos Hernandez, Tobias Huber

机构 * XITASO GmbH（XITASO公司） ； German Aerospace Center (DLR) Institute of Flight Systems（德国航空航天中心（DLR）飞行系统研究所） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 SUNSET是一种基于ROS2的自适应系统示例，通过传感器融合语义分割流水线和训练好的机器学习模型，实现对动态环境中的不确定性进行严格评估和自适应处理。

Comments Accepted at RoSE Workshop 2026

From Keypoints to Predictive Distributions: Post-Hoc Uncertainty for YOLO-Pose Models

从关键点到预测分布：YOLO-Pose模型的事后不确定性

Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV

AI总结 本研究针对YOLO-Pose模型未量化空间不确定性的问题，提出轻量级事后概率扩展方法，结合校准诊断与AKP的评估协议，经COCO实验验证其在关键点可靠性排序等任务中有效，并在飞机着陆场景得到应用。

MVGD-Net: A Novel Motion-aware Video Glass Surface Detection Method

MVGD-Net: 一种新颖的运动感知视频玻璃表面检测网络

Yiwei Lu, Hao Huang, Tao Yan

机构 * Tao Yan（谭燕） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 MVGD-Net通过利用视频中运动不一致特性，提出新颖网络检测玻璃表面，结合多模块融合与大规模数据集提升检测性能。

Comments This paper has been accepted by the 40th AAAI Conference on Artificial Intelligence (AAAI-26). It contians 9 pages, 11 figures

PRISM: Multimodal Terrain Mapping for Rover Navigation in Unstructured Environments

PRISM：非结构化环境中用于漫游车导航的多模态地形映射

Raul Castilla-Arquillo, Carlos Perez-del-Pulgar, Levin Gerdes, Alfonso Garcia-Cerezo, Miguel A. Olivares-Mendez

机构 * SnT, University of Luxembourg（卢森堡大学安全、可靠性和信任跨学科中心） ； Department of Automation and Systems Engineering, Universidad de Málaga, Andalucía Tech（马拉加大学自动化与系统工程系，安达卢西亚技术大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 研究针对非结构化环境中漫游车导航问题，提出PRISM多模态感知系统，利用定制传感器套件和OmniUnet网络，经新数据集验证及现场实验，可在资源受限设备上高效生成可通行性地图，实现漫游车自主导航。

Cellular Signal Constructed Convolutional Vision Transformer for High Accuracy Positioning

用于高精度定位的蜂窝信号构建卷积视觉Transformer

Junshi Chen, Xuhong Li, Russ Whiton, Fredrik Tufvesson

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 eess.SP

AI总结 针对复杂蜂窝环境中定位难题，提出混合卷积视觉Transformer（ConViT）架构，整合CNNs局部感受野与Transformer全局注意力，评估多种信号融合策略，经实验验证其性能显著优于基准模型，且有较低参数数量和计算复杂度，还具备可解释性。

A Dual-Stream Challenge-Response Protocol for Ocular Liveness Verification

一种用于眼部活体检测的双流挑战-响应协议

Ismail Kably

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV

AI总结 针对眼部生物识别面临的复杂呈现攻击，提出时空亮度传感器融合协议，构建同步矩阵评估相关生物延迟，通过蒙特卡罗模拟证明理论可分离性及多轮挑战设计的优势，为眼部和虹膜生物识别动态欺骗防御提供理论框架。

Comments 6 pages, 2 figures. Simulation-based theoretical framework; human-subject validation identified as future work

A Ground Mobile Robot for Autonomous Terrestrial Laser Scanning-Based Field Phenotyping

一种用于自主地面激光扫描的田间表型分析机器人

Javier Rodriguez-Sanchez, Kyle Johnsen, Changying Li

机构 * School of Electrical and Computer Engineering（电气与计算机工程学院） ； The University of Georgia（佐治亚大学） ； Bio-Sensing, Automation and Intelligence Laboratory（生物传感、自动化与智能实验室） ； Agricultural & Biological Engineering（农业与生物工程） ； The University of Florida（佛罗里达大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 本研究开发了一种自主地面机器人系统，利用高分辨率三维激光扫描仪实现田间表型分析，提高了田间作物生长监测的自动化和准确性。

Comments Submitted to Journal of Field Robotics

GrandTour: A Legged Robotics Dataset in the Wild for Multi-Modal Perception and State Estimation

GrandTour: 一种用于多模态感知与状态估计的野外腿式机器人数据集

Turcan Tuna, Jonas Frey, Frank Fu, Katharine Patterson, Tianao Xu, Maurice Fallon, Cesar Cadena, Marco Hutter

机构 * ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； UC Berkeley（伯克利大学） ； Oxford University（牛津大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 GrandTour数据集为多模态感知与状态估计提供了大规模野外腿式机器人数据，支持SLAM和高精度状态估计的研究与开发。

Comments Turcan Tuna, and Jonas Frey contributed equally. Submitted to Sage The International Journal of Robotics Research

Closed-loop vs. Open-loop Kalman Filter Architectures in Airborne Aided Inertial Navigation

机载辅助惯性导航中的闭环与开环卡尔曼滤波器架构

Antonia Hager, Torleiv H. Bryne

机构 * Airbus Central Research and Technology（空客中央研究与技术中心） ； Department of Engineering Cybernetics, Norwegian University of Science and Technology（挪威科技大学工程 cybernetics 系） 纠错

专题命中 机器人多传感器融合 ：information fusion(abstract)；分类 cs.RO

AI总结 研究闭环与开环卡尔曼滤波器架构在机载辅助惯性导航中的性能影响，用标准惯性机制和直接位置辅助评估，通过模拟展示不同传感器误差下两种架构的权衡。

Comments 6 pages, 6 figures, submission to IEEE Navicon

Decentralized Geometric Control for Cable-Suspended Payload Transport with Adaptive Mass Estimation

基于自适应质量估计的缆绳悬挂载荷运输的分散几何控制

Hadi Hajieghrary, Benedikt Walter, Paul Schmitt, Miguel Hurtado

机构 * MassRobotics 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 提出GPAC四层分层架构，通过隐式协调实现多四旋翼无中心协调运输缆绳悬挂载荷，结合几何控制、自适应质量估计和CBF安全滤波，仿真显示低计算成本下平均跟踪误差33.8厘米。

Comments Accepted to be presented at IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026

GaRLILEO: Gravity-aligned Radar-Leg-Inertial Enhanced Odometry

GaRLILEO：基于重力对齐的雷达-腿-惯性增强里程计

Chiyun Noh, Sangwoo Jung, Hanjun Kim, Yafei Hu, Laura Herlant, Ayoung Kim

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 本文提出GaRLILEO，一种基于重力对齐的雷达-腿-惯性增强里程计框架，通过连续时间 ego-velocity spline 和软 S2-constrained 重力因子提升垂直姿态估计精度，适用于复杂地形导航。

Comments Accepted for publication at the International Journal of Robotics Research on 30 April, 2026

MIL-LC: A Robust Magnetometer-Inertial-LiDAR Fusion Multimodal Localization Framework

MIL-LC：一种鲁棒的磁力计-惯性-LiDAR融合多模态定位框架

Qiyang Lyu, Zhenyu Wu, Wei Wang, Hongming Shen, Danwei Wang

机构 * School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院） ； Centre for Advanced Robotics Technology Innovation (CARTIN)（先进机器人技术创新中心） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.RO

AI总结 提出MIL-LC框架，融合磁力计、惯性和LiDAR，解决GNSS缺失、几何重复或无纹理环境下的定位问题，通过磁地图与LiDAR退化检测实现鲁棒定位。

Decoupling Semantics and Geometric Grounding: Spatial Visual Prompts for Language-Conditioned Imitation Learning

解耦语义与几何基础：面向语言条件模仿学习的空间视觉提示

Yanzhe Tang, Xinyu Shao, Yuxuan Hu, Siyu Chen, Bowen Yang, Yajun Gao, Tongtong Cao, Xiu Li, Long Zeng

机构 * Tsinghua University（清华大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 机器人多传感器融合 ：feature-level fusion(abstract)；分类 cs.RO

AI总结 提出SVP-IL解耦架构，通过视觉语言基础模型将指令解析为零样本几何掩码，生成空间视觉提示并注入连续动作生成器，在低数据条件下显著提升语言条件模仿学习的成功率。

L2M-Calib: One-key Calibration Method for LiDAR and Multiple Magnetic Sensors

L2M-Calib：一种用于激光雷达和多种磁传感器的单键校准方法

Qiyang Lyu, Wei Wang, Zhenyu Wu, Hongming Shen, Huiqin Zhou, Danwei Wang

机构 * School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电子与电气工程学院） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 本文提出L2M-Calib方法，通过联合估计激光雷达与磁传感器间的外参和磁传感器的内畸变参数，实现多模态传感器融合的高效校准。

Viking Hill Dataset: A Lidar-Radar-Camera Dataset for Detection and Segmentation in Forest Scenes

Viking Hill数据集：用于森林场景检测与分割的激光雷达-雷达-相机数据集

Vladimír Kubelka, Oleksandr Kotlyar, Unal Artan, Martin Magnusson

机构 * Örebro University（奥雷布罗大学） ； AASS research centre（AASS研究中心） ； Robot Navigation and Perception Lab（机器人导航与感知实验室） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 提出首个包含4D成像雷达的森林多传感器数据集，通过MinkowskiUNet实现雷达与激光雷达点云的语义分割，并评估树干分割质量与树木尺寸的关系。

Comments 33 pages, 11 figures

Inference-time Policy Steering via Vision and Touch

通过视觉和触觉进行推理时策略引导

Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.RO

AI总结 提出ViTaL框架，通过视觉采样验证和触觉引导扩散编辑的双层优化，在推理时引导机器人策略，显著提升接触丰富操作任务的成功率。

An Attention-based Model for Robust Forecasting with Missing Modality

基于注意力的缺失模态鲁棒预测模型

Zhitian Zhang, Wenjie Zi, Yunduz Rakhmangulova, Saghar Irandoust, Hossein Hajimirsadeghi, Thibaut Durand

机构 * Simon Fraser University（西蒙菲莎大学） ； RBC Borealis 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.RO

AI总结 提出一种基于条件变分自编码器和Transformer的多模态模型，通过注意力机制学习统一固定维度的表示，在训练和推理中处理缺失模态，在人类轨迹预测和机器人操作预测任务上优于现有方法。

Comments Work originally done in 2023

Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

面向接触丰富机器人强化学习的自监督多感官预训练

Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

机构 * Interactive Robot Perception & Learning (PEARL) Lab, TU Darmstadt, Germany（图腾机器人感知与学习实验室，图腾施塔德大学，德国） ； Hessian.AI（海斯堡人工智能） ； Robotics Institute Germany (RIG)（德国机器人研究所（RIG）） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 提出MSDP框架，通过掩码自编码和跨模态预测学习多感官表示，并采用非对称架构（评论家使用交叉注意力提取动态特征，演员使用稳定池化表示）加速策略学习，在模拟和真实机器人任务中展现出鲁棒性和高效性。

Comments 8 pages, 11 figures

Journal ref IEEE Robotics and Automation Letters, 2026, Vol. 11, No. 6, pp. 6799-6806

Attitude-Aided Linear Calibration of Triaxial Accelerometers

三轴加速度计的姿态辅助线性校准

Yongqiang Yu, Tian Huang, Yipeng Yang

机构 * Tsinghua University（清华大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 提出一种利用姿态信息的三轴加速度计线性校准方法（ALAC），通过构建组合误差矩阵实现线性最小二乘估计，仅需五个任意方向测量即可完成校准，并在静态和准静态实验中验证了其精度和鲁棒性。

Towards Realistic 3D Sonar Simulation

面向真实3D声纳仿真

Youssef Attia, Davide Costa, Francesco Wanderlingh, Filippo Campagnaro, Enrico Simetti

机构 * IEEE 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 本文提出一种模块化架构，结合GPU加速图形引擎与物理声学传播原理，在NVIDIA Isaac Sim中实现基于Water Linked 3D-15传感器的体积3D声纳模型，并通过硬件在环配置验证其有效性。

A Discrete-Time Attitude Observer on SO(3) for Vision and GPS Fusion

基于SO(3)的离散时间姿态观测器用于视觉与GPS融合

Alireza Khosravian, Tat-Jun Chin, Ian Reid, Robert Mahony

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 本文提出一种离散时间几何姿态观测器，融合单目视觉与GPS速度测量，通过减轻视觉里程计姿态估计的固有漂移并直接估计北东下坐标系下的姿态，提供收敛性分析和收敛率下界。

Comments To appear in IEEE Conference on Robotics and Automation 2017

Journal ref Alireza Khosravian, Tat-Jun Chin, Ian Reid, Robert Mahony "A Discrete-Time Attitude Observer on SO(3) for Vision and GPS Fusion", in Proc. IEEE Conf. Robotics and Automation, 2017

Development of an EKF-based localization algorithm using compass sensor and LRF

基于指南针传感器和LRF的EKF定位算法开发

T. T. Hoang, P. M. Duong, N. T. T. Van, D. A. Viet, T. Q. Vinh

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 本文提出一种移动机器人感知系统，结合指南针和激光雷达数据，通过扩展卡尔曼滤波实现高精度定位，提升导航性能。

Comments In 12th International Conference on Control Automation Robotics & Vision (ICARCV), 2012. arXiv admin note: substantial text overlap with arXiv:1611.07114

Development of a multi-sensor perceptual system for mobile robot and EKF-based localization

移动机器人多传感器感知系统的发展及基于EKF的定位方法

T. T. Hoang, P. M. Duong, N. T. T. Van, D. A. Viet, T. Q. Vinh

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 本文提出一种基于现代传感器和多点通信通道的移动机器人感知系统，采用传感器融合模型处理数据以提高机器人定位与控制的准确性，通过扩展卡尔曼滤波器优化系统状态。

Comments In 2012 International Conference on Systems and Informatics (ICSAI). arXiv admin note: substantial text overlap with arXiv:1611.07112, arXiv:1611.07114

Cooperative localization by dual foot-mounted inertial sensors and inter-agent ranging

通过双足安装惯性传感器和机间测距实现协同定位

John-Olof Nilsson, Dave Zachariah, Isaac Skog, Peter Händel

机构 * Signal Processing Dept., ACCESS Linnaeus Centre, KTH Royal Institute of Technology（信号处理系，ACCESS林纳乌斯中心，皇家理工学院） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 本文提出一种部分去中心化的系统架构，利用步进惯性导航和步进死 reckoning 降低计算和通信成本，实现大规模群体的协同定位。

Comments 14 pages

Journal ref EURASIP Journal on Advances in Signal Processing 2013, 2013:164

Autonomous Navigation System for Library Service Robot Based on Unitree Go2 Edu

基于 Unitree Go2 Edu 的图书馆服务机器人自主导航系统

Aoduo Li, Haoran Lv, Bingquan Ou, Jianfeng Li, Yingdong Li, Zimeng Li

机构 * Unitree Go2 Edu 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 针对图书馆狭窄通道和动态障碍物环境，提出基于 ROS 2 的四足机器人导航系统，融合 RTAB-Map、AMCL/EKF 和 Nav2 实现高成功率定位与避障，地图误差 3.7 cm。

Comments 6 pages, 5 figures, 4 tables. Accepted by WCCIS 2026

Wheel-Mounted/GNSS Fusion with AI-Aided Position Updates

基于人工智能辅助位置更新的轮式/GNSS融合定位

Gal Versano, Itzik Klein

机构 * Autonomous Navigation and Sensor Fusion Lab（自主导航与传感器融合实验室） ； Hatter Department of Marine Technologies（海洋技术系） ； Charney School of Marine Sciences（海洋科学学院） ； University of Haifa（海法大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.RO

AI总结 提出一种混合神经惯性导航框架，结合轮式惯性传感器、强制周期轨迹和神经网络，通过误差状态扩展卡尔曼滤波融合GNSS位置更新，实现定位精度提升约46%。

An Approach to Model Interest for Planetary Rover through Dezert-Smarandache Theory

基于Dezert-Smarandache理论的行星探测器兴趣建模方法

Matteo Ceriotti, Massimiliano Vasile, Giovanni Giardini, Mauro Massari

专题命中 机器人多传感器融合 ：information fusion(abstract)；分类 cs.RO

AI总结 提出一种通过Dezert-Smarandache理论融合有效载荷和导航信息来量化行星探测器目标兴趣度的方法，实现自主目标重分配与科学目标优选。

Comments Journal Of Aerospace Computing, Information, And Communication Vol. 5, Month 2008

Interpretable Multimodal Gesture Recognition for Drone and Mobile Robot Teleoperation via Log-Likelihood Ratio Fusion

基于对数似然比融合的可解释多模态手势识别用于无人机和移动机器人遥操作

Seungyeol Baek, Jaspreet Singh, Lala Shakti Swarup Ray, Hymalai Bello, Paul Lukowicz, Sungho Suh

机构 * Department of Artificial Intelligence, Korea University（人工智能系，韩国大学） ； Department of Computer Science, RPTU Kaiserslautern-Landau（计算机科学系，RPTU凯撒斯劳滕-兰道） ； Embedded Intelligence, German Research Center for Artificial Intelligence (DFKI)（嵌入式智能，德国人工智能研究中心（DFKI）） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.RO

AI总结 提出一种融合腕戴式Apple Watch惯性数据和定制手套电容传感信号的多模态手势识别框架，利用对数似然比后期融合策略提升性能并提供可解释性，在降低计算成本的同时达到与视觉基线相当的识别效果。

ForceFlow: Learning to Feel and Act via Contact-Driven Flow Matching

ForceFlow: 通过接触驱动的流匹配学习感知与行动

Shuoheng Zhang, Yifu Yuan, Hongyao Tang, Yan Zheng, Qiaojun Yu, Pengyi Li, Guowei Huang, Helong Huang, Xingyue Quan, Jianye Hao

机构 * Tianjin University（天津大学） ； Huawei Noah's Ark Lab（华为诺亚实验室） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.RO

AI总结 本文提出ForceFlow框架，通过融合力信号与多模态信息，提升机器人在复杂接触任务中的鲁棒性和泛化能力，实验显示其在六个真实任务中成功率提升37%。

Initiation of Interaction Detection Framework using a Nonverbal Cue for Human-Robot Interaction

基于非语言线索的人机交互启动检测框架的初始化

Guhnoo Yun, Juhan Yoo, Kijung Kim, Dong Hwan Kim

机构 * Korea Institute of Science and Technology（韩国科学技术院） ； Department of Computer Science, Semyung University（Semyoung大学计算机科学系） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV

AI总结 本文提出一种基于音频和视觉传感器融合的非关键词人机交互启动检测框架，通过声源定位和人类跟踪实现交互启动检测，结合机器人自身传感器和外部视觉传感器进行稳定的人体检测与跟踪。