世界模型

Incantation: Natural Language as the Action Interface for Multi-Entity Video World Models

Incantation: 自然语言作为多实体视频世界模型的动作接口

Shangwen Zhu, Qianyu Peng, Zhao Pu, Zhilei Shu, Xiangrui Ke, Zhaohu Xing, Zizhao Tong, Zeqing Wang, Xinyu Cui, Zian Zheng, Huangji Wang, Jian Zhao, Yeying Jin, Fan Cheng, Ruili Feng

机构 * SJTU（上海交通大学） ； NVIDIA Research（英伟达研究） ； USTC（中国科学技术大学） ； UCAS（乌兹别克斯坦科学院） ； NUS（新加坡国立大学） ； UWaterloo（滑铁卢大学） ； HKUST（香港理工大学） ； HKU（香港大学） ； ZGCA（浙江大学） 纠错

专题命中 视频世界模型 ：world model(title,abstract)；world models(title,abstract)；video world model(title,abstract)；world model(title,abstract)

AI总结 本研究提出了一种基于自然语言的动作接口，用于多实体视频世界模型，解决了传统接口在细粒度多实体控制和跨实体、跨世界泛化能力上的不足，通过引入自然语言条件化实现了更强大的表达能力。