视频大模型

Mask2Real-WM: Segmentation Masks as a Sim-to-Real Bridge for Controllable Dexterous World Models

Mask2Real-WM：作为可控灵巧世界模型的模拟到现实桥梁的分割掩码

Riccardo O. Feingold, Davide Liconti, Chenyu Yang, Robert K. Katzschmann

机构 * Soft Robotic Lab, Department of Mechanical and Process Engineering ETH Zurich, Switzerland（苏黎世联邦理工学院机械与过程工程系软机器人实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Mask2Real-WM，一种用于灵巧操纵的两阶段动作条件世界模型，将像素预测解耦为动力学和渲染模型，利用分割空间较小的模拟到现实差距，通过合成数据预训练和真实演示微调实现各自由度动作可控。

Comments 23 pages, 24 figures, 4 tables. Preprint. Project page: this https URL (https://srl-ethz.github.io/Mask2Real-WM/)

Effective Multi-sensor Conditioning for Street-view Novel-view Synthesis

面向街景新视角合成的有效多传感器条件控制

Zhengfei Kuang, Adam Sun, Liyuan Zhu, Tong Wu, Shengqu Cai, Jonathan Tremblay, Iro Armeni, Ehsan Adeli, Lior Yariv, Gordon Wetzstein

机构 * Stanford Univerity（斯坦福大学） ； NVIDIA 纠错

专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV

AI总结 提出StreetNVS视频扩散框架，通过参考增强相机注意力模块和相对射线级位置编码联合利用LiDAR、环视图像和相机位姿，实现稀疏LiDAR条件下的高质量街景新视角合成。