Pieter Abbeel

ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation

ViTacFormer：学习跨模态表示以实现视觉-触觉灵巧操作

Liang Heng, Haoran Geng, Kaifeng Zhang, Pieter Abbeel, Jitendra Malik

机构 * University of California, Berkeley（加州大学伯克利分校） ； Peking University（北京大学） ； Sharpa 纠错

AI总结 本文提出ViTacFormer，通过跨注意力编码器融合高分辨率视觉与触觉，并结合自回归触觉预测头提升精度与鲁棒性，实现多指手的模仿学习，成功完成高精度灵巧操作任务。