TacGen: Touch Is a Necessary Dimension of Physical-World Representation -- Addressing Tactile Data Scarcity with Scalable Vision-to-Touch Alignment and Generation
TacGen: 触觉是物理世界表征的必要维度——通过可扩展的视觉到触觉对齐与生成解决触觉数据稀缺问题
机构 * University of Maryland, College Park(马里兰大学帕克分校) ; Carnegie Mellon University(卡内基梅隆大学) ; University of Alabama(阿拉巴马大学) ; University of Washington(华盛顿大学) ; Stanford University(斯坦福大学)
AI总结 针对触觉数据稀缺问题,提出TacGen方法,通过视觉-触觉对比对齐和潜在空间残差MLP生成器合成触觉潜在表示,在质量、密度、硬度等物理属性预测上显著优于纯视觉模型,并大幅提升触觉操作性能。
Comments 49 pages, 29 figures