Yann LeCun

Music-JEPA: Learning a World Model of Sound from Action

Music-JEPA：从动作中学习声音的世界模型

Ziyu Wang, Kun Fang, Yann LeCun

AI总结 研究提出Music-JEPA，将音乐构建为动作条件系统，用JEPA学习钢琴声音世界模型，在离线状态下用配对数据训练。实验表明模型能捕捉音乐动作与声音关系，其表示支持下游任务并能通过规划实现钢琴转录。