多模态信息融合

Multimodal Fusion for Sim2real Transfer in Visual Reinforcement Learning

多模态融合用于视觉强化学习中的仿真到现实迁移

Zichun Xu, Jingdong Zhao, Chenyu Guo, Qianxue Zhang, Liao Zhang, Xiao Zhang, Yiming Ren, Lian Zhang, Zengren Zhao

机构 * Medical Artificial Intelligence Lab, The First Hospital of Hebei Medical University, Hebei Medical University（医学人工智能实验室，河北医科大学第一医院，河北医科大学） ； State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(title)；分类 cs.CV、cs.RO

AI总结 本文提出基于视觉变换器的多模态融合框架，通过融合RGB和深度信息提升泛化能力，并设计对比学习方案和课程式域随机化方案以提高样本效率和迁移性能，实验结果表明该方法在现实任务中表现优异。