多模态信息融合

Effective Multi-sensor Conditioning for Street-view Novel-view Synthesis

面向街景新视角合成的有效多传感器条件控制

Zhengfei Kuang, Adam Sun, Liyuan Zhu, Tong Wu, Shengqu Cai, Jonathan Tremblay, Iro Armeni, Ehsan Adeli, Lior Yariv, Gordon Wetzstein

机构 * Stanford Univerity（斯坦福大学） ； NVIDIA 纠错

专题命中 机器人多传感器融合 ：sensor fusion(abstract)；multi-sensor fusion(abstract)；分类 cs.CV

AI总结 提出StreetNVS视频扩散框架，通过参考增强相机注意力模块和相对射线级位置编码联合利用LiDAR、环视图像和相机位姿，实现稀疏LiDAR条件下的高质量街景新视角合成。

SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation

SoftVTBench：面向可变形物体操作的形变感知视觉-触觉数据集与基准

Bowen Jing, Mingxin Wang, Ruiyang Hao, Chenchen Ge, Hanwen Shen, Junjie He, Yang Cui, Yiming Hou, Weitao Zhou, Jiawei Wang, Minglei Li, Dandan Zhang, Ding Zhao, Houde Liu, Xiaofan Li, Si Liu, Ping Luo, Haibao Yu

机构 * Tuojing Intelligence（拓境智能） ； Tsinghua University（清华大学） ； Southeast University（东南大学） ； Stevens Institute of Technology（斯蒂文斯理工学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Manchester（曼彻斯特大学） ； Simple AI ； Imperial College London（帝国理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 机器人多传感器融合 ：multimodal fusion(abstract)；分类 cs.RO

AI总结 本研究推出SoftVTBench视觉-触觉数据集与基准，定义形变感知成功率（DSR），发现触觉信息本身未必提升多模态融合，为可变形物体操作的物理交互研究提供资源。