多模态信息融合

Nonlinear Unknown Input Observability and Unknown Input Reconstruction: The General Analytical Solution

Agostino Martinelli

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；information fusion(comments,journal_ref)；分类 cs.CV

Comments This paper was published by the journal of Information Fusion

Journal ref Journal of Information Fusion, Volume 85, September 2022, Pages 23-51

MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation

MuseVLA: 一种用于机器人操作的自适应多模态感知视觉-语言-动作模型

Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； Microsoft Research Asia（微软亚洲研究院） ； Princeton University（普林斯顿大学） ； Tsinghua University（清华大学） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV、cs.RO

AI总结 提出MuseVLA模型，通过将传感器作为按需工具集成，实现自适应多模态感知；设计传感器图像统一表示，并引入数据合成流水线，在灵巧手操作任务中平均成功率80.6%，显著优于RGB-only和多模态基线。

Holistic Fusion: Task- and Setup-Agnostic Robot Localization and State Estimation with Factor Graphs

整体融合：基于因子图的与任务和设置无关的机器人定位与状态估计

Julian Nubert, Turcan Tuna, Jonas Frey, Cesar Cadena, Katherine J. Kuchenbecker, Shehryar Khattak, Marco Hutter

机构 * ETH Zürich（苏黎世联邦理工学院） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

AI总结 研究针对移动机器人定位与状态估计问题，提出整体融合方法，通过因子图公式融合多类型测量，注重局部平滑性与一致性，能在典型硬件上实现低延迟、平滑在线估计及低漂移全局定位，在多场景验证了框架有效性。

Comments 21 pages, 25 figures, 9 tables, Transactions on Robotics, accepted

Journal ref Transactions on Robotics 2026

DSP-SLAM++: A Unified Framework for Multi-Class, High-Fidelity Object SLAM in the Wild

DSP-SLAM++：面向野外多类高保真物体SLAM的统一框架

Ahmad Kourani, Ghina Daoud, Daniel Asmar, Imad Elhajj

机构 * American University of Beirut（贝鲁特美国大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

AI总结 提出DSP-SLAM++，通过异步建图流水线和单目鱼眼-激光雷达传感器融合，在支持多类物体的同时实现实时高保真物体建模，将最大物体处理延迟降低70%。

Comments 9 pages, 9 figures

RepSAM: Bridging Foundation Models to Robotic Vision via Representation-Guided Adaptation

RepSAM: 通过表示引导的适应连接基础模型与机器人视觉

Wenhui Chu

机构 * Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯大学阿马尔科分校） 纠错

专题命中 机器人多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV、cs.RO

AI总结 针对基础模型在非结构化机器人视觉场景中性能下降的问题，提出RepSAM框架，通过CKA引导的秩分配策略和多模态融合模块实现参数高效微调，在减少158倍可训练参数的同时达到全微调97.9%的性能。

Comments Accepted to IJCAI-ECAI 2026 (Special Track on AI and Robotics). 8 pages, 4 figures, 12 tables

FusionCore: A 23-State Unscented Kalman Filter for IMU, Wheel Encoder, GPS, and Visual SLAM Fusion in ROS 2

FusionCore: 用于IMU、轮式编码器、GPS和视觉SLAM融合的23状态无迹卡尔曼滤波器（ROS 2）

Manan Kharwar

机构 * Independent Researcher（独立研究者） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 eess.SP、cs.RO

AI总结 提出FusionCore，一个基于23状态无迹卡尔曼滤波器的开源ROS 2传感器融合包，通过在线估计轮式编码器偏航率偏差、GPS ECEF原生处理、自适应噪声协方差和VSLAM位姿融合，在12个NCLT序列上比robot_localization取得更低的绝对轨迹误差。

Comments 8 pages, 4 figures, 2 tables. Source code: https://github.com/manankharwar/fusioncore (Apache 2.0)

AnyUser: Translating Sketched User Intent into Domestic Robots

AnyUser: 将草图用户意图翻译成家用机器人

Songyuan Yang, Huibin Tan, Kailun Yang, Wenjing Yang, Shaowu Yang

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（湖南大学国家机器人视觉感知与控制技术工程研究中心） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV、cs.RO

AI总结 AnyUser通过相机图像上的自由形式草图（可选语言）实现直观的家庭任务指令，利用多模态输入生成无需先验地图或模型的可执行机器人动作，通过大量评估验证其在不同模拟家庭场景中的高准确性和真实环境中的可靠性。

Comments Accepted to IEEE Transactions on Robotics (T-RO)

An Annotation-to-Detection Framework for Autonomous and Robust Vine Trunk Localization in the Field by Mobile Agricultural Robots

一种用于田间自主和鲁棒葡萄藤主干定位的标注到检测框架

Dimitrios Chatziparaschis, Elia Scudiero, Brent Sams, Konstantinos Karydis

机构 * Dept. of Environmental Sciences, Univ. of California, Riverside（加州大学河滨分校环境科学系） ； Gallo（嘉露酒庄） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

AI总结 本文提出一种标注到检测框架，利用有限标注数据训练多模态检测器，通过跨模态标注转移和早起传感器融合，提升田间葡萄藤主干定位的鲁棒性与准确性。

Comments 7 pages, 6 figures, conference

Neural Aided Adaptive Innovation-Based Invariant Kalman Filter

神经辅助自适应创新基于不变卡尔曼滤波器

Barak Diker, Itzik Klein

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 eess.SP、cs.RO

AI总结 本文提出一种结合不变滤波理论与神经辅助自适应噪声估计的卡尔曼滤波器，用于提升自主水下导航的定位精度，实验表明其在位置均方误差方面优于现有方法。

Comments 11 pages and 2 figures

Large-scale Photorealistic Outdoor 3D Scene Reconstruction from UAV Imagery Using Gaussian Splatting Techniques

基于高斯点扩散技术的无人机影像大规模真实感户外3D场景重建

Christos Maikos, Georgios Angelidis, Georgios Th. Papadopoulos

机构 * Department of Informatics and Telematics（信息学与电信学系） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

AI总结 本文提出基于高斯点扩散技术的无人机影像大规模真实感户外3D场景重建方法，实现低延迟的高保真度3D重建。

Comments 7 pages, 2 figures

Symmetry-Aware Fusion of Vision and Tactile Sensing via Bilateral Force Priors for Robotic Manipulation

通过双侧力先验实现视觉与触觉感知的对称感知融合用于机器人操作

Wonju Lee, Matteo Grimaldi, Tao Yu

机构 * DexAI, Emergent Business Unit, Analog Devices Inc.（DexAI，新兴业务部，安森通公司） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV、cs.RO

AI总结 本文提出了一种基于双侧力先验的跨模态Transformer，通过结构化注意力机制实现视觉与触觉融合，在机器人操作中实现了96.59%的插入成功率，展示了触觉感知的重要性及物理启发正则化的有效性。

Comments Accepted By ICRA2026

DCER: Dual-Stage Compression and Energy-Based Reconstruction

DCER：双阶段压缩与基于能量的重建

Yiwen Wang, Jiahao Qin

机构 * Yiwen Wang（无） ； Jiahao Qin（无） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 eess.IV、cs.MM

AI总结 DCER通过双阶段压缩和基于能量的重建解决多模态融合中的噪声和缺失模态问题，实现鲁棒性提升。

Comments 13 pages, 2 figures, 8 tables. Submitted to ICML 2026. Code will be available on GitHub

UNIC: Learning Unified Multimodal Extrinsic Contact Estimation

UNIC: 学习统一的多模态外在接触估计

Zhengtong Xu, Yuki Shirai

机构 * Edwardson School of Industrial Engineering, Purdue University（帕克大学工业工程学院） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.CV、cs.RO

AI总结 UNIC通过统一多模态框架实现无需先验知识的外在接触估计，提升手部操作的鲁棒性和适应性。

Adaptive Covariance and Quaternion-Focused Hybrid Error-State EKF/UKF for Visual-Inertial Odometry

自适应协方差与四元数聚焦混合误差状态EKF/UKF用于视觉-惯性里程计

Ufuk Asil, Efendi Nasibov

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

AI总结 本文提出一种自适应协方差与四元数聚焦混合误差状态EKF/UKF方法，用于提升无人机在复杂环境下的视觉-惯性里程计性能，实现高精度姿态估计与低计算成本的平衡。

Event Camera Meets Mobile Embodied Perception: Abstraction, Algorithm, Acceleration, Application

事件相机与移动具身感知：抽象、算法、加速与应用

Haoyang Wang, Ruishan Guo, Pengtao Ma, Ciyu Ruan, Xinyu Luo, Wenhua Ding, Tianyang Zhong, Jingao Xu, Yunhao Liu, Xinlei Chen

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； The University of Hong Kong（香港大学） ； Global Innovation Exchange, Tsinghua University（清华大学全球创新交换） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

AI总结 本文综述了基于事件的移动传感技术，涵盖其原理、抽象方法、算法进展及加速策略，并探讨了其在视觉里程计、目标跟踪等应用中的挑战与未来发展方向。

Comments Accepted by ACM CSUR,35 pages

A Surveillance Based Interactive Robot

Kshitij Kavimandan, Pooja Mangal, Devanshi Mehta

机构 * Department of Computer Engineering NMIMS University（计算机工程系 NMIMS 大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Comments 4 pages, 5 figures

Adaptive Signal Analysis for Automated Subsurface Defect Detection Using Impact Echo in Concrete Slabs

Deepthi Pavurala, Duoduo Liao, Chaithra Reddy Pasunuru

机构 * School of Computing（计算学院） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、eess.SP

Comments Accepted by IEEE Big Data 2024

Journal ref IEEE BigData, Year: 2024; Pages: 3282-3291

IsoNet: Causal Analysis of Multimodal Transformers for Neuromuscular Gesture Classification

Eion Tyacke, Kunal Gupta, Jay Patel, Rui Li

机构 * Dept. of Electrical and Computer Engineering（电气与计算机工程系） ； New York University（纽约大学） ； Tandon School of Engineering（坦顿工程学院） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 eess.SP、cs.RO

Event Cameras Meet SPADs for High-Speed, Low-Bandwidth Imaging

Manasi Muglikar, Siddharth Somasundaram, Akshat Dave, Edoardo Charbon, Ramesh Raskar, Davide Scaramuzza

机构 * Robotics and Perception Group, University of Zurich, Switzerland（苏黎世大学机器人与感知组） ； Camera Culture Group, MIT Media Lab, USA（MIT媒体实验室相机文化组） ； EPFL, Lausanne, Switzerland（日内瓦联邦理工学院） 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、eess.IV

Comments IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025

Ultra-High-Frequency Harmony: mmWave Radar and Event Camera Orchestrate Accurate Drone Landing

Haoyang Wang, Jingao Xu, Xinyu Luo, Xuecheng Chen, Ting Zhang, Ruiyang Duan, Yunhao Liu, Xinlei Chen

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Comments This paper is accepted by ACM SenSys 2025

HeRCULES: Heterogeneous Radar Dataset in Complex Urban Environment for Multi-session Radar SLAM

Hanjun Kim, Minwoo Jung, Chiyun Noh, Sangwoo Jung, Hyunho Song, Wooseong Yang, Hyesu Jang, Ayoung Kim

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Comments 2025 IEEE International Conference on Robotics and Automation (ICRA 2025)

NavigateDiff: Visual Predictors are Zero-Shot Navigation Assistants

Yiran Qin, Ao Sun, Yuze Hong, Benyou Wang, Ruimao Zhang

专题命中 机器人多传感器融合 ：information fusion(abstract)；分类 cs.CV、cs.RO

Comments Accepted to ICRA2025

X-Fi: A Modality-Invariant Foundation Model for Multimodal Human Sensing

Xinyan Chen, Jianfei Yang

专题命中 机器人多传感器融合 ：multi-modal fusion(abstract)；分类 cs.CV、eess.SP

VIGS SLAM: IMU-based Large-Scale 3D Gaussian Splatting SLAM

Gyuhyeon Pak, Euntai Kim

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Comments 7 pages, 5 figures

Neural Error Covariance Estimation for Precise LiDAR Localization

Minoo Dolatabadi, Fardin Ayar, Ehsan Javanmardi, Manabu Tsukada, Mahdi Javanmardi

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Comments Accepted by 2024 International Conference on Intelligent Computing and its Emerging Applications

Multimodal Active Measurement for Human Mesh Recovery in Close Proximity

Takahiro Maeda, Keisuke Takeshita, Norimichi Ukita, Kazuhito Tanaka

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Comments Accepted at Robotics and Automation Letters (RA-L) on Sep 2024

Validation & Exploration of Multimodal Deep-Learning Camera-Lidar Calibration models

Venkat Karramreddy, Liam Mitchell

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Comments 8 pages, 10 figures

3DGS-Calib: 3D Gaussian Splatting for Multimodal SpatioTemporal Calibration

Quentin Herau, Moussab Bennehar, Arthur Moreau, Nathan Piasco, Luis Roldao, Dzmitry Tsishkou, Cyrille Migniot, Pascal Vasseur, Cédric Demonceaux

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Comments Accepted at IROS 2024 (Oral presentation). Project page: https://qherau.github.io/3DGS-Calib/

Advance and Refinement: The Evolution of UAV Detection and Classification Technologies

Vladislav Semenyuk, Ildar Kurmashev, Alberto Lupidi, Dmitriy Alyoshin, Liliya Kurmasheva, Alessandro Cantelli-Forti

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、eess.SP

Comments 19 pages, 5 figures

Multi-Visual-Inertial System: Analysis, Calibration and Estimation

Yulin Yang, Patrick Geneva, Guoquan Huang

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；分类 cs.CV、cs.RO

Journal ref (International Journal of Robotics Research 2024)