视频大模型

Sound Sparks Motion: Audio and Text Tuning for Video Editing

声音激发动作：用于视频编辑的音频和文本微调

AmirHossein Naghi Razlighi, Aryan Mikaeili, Ali Mahdavi-Amiri, Daniel Cohen-Or, Yiorgos Chrysanthou

机构 * University of Cyprus（塞浦路斯大学） ； Simon Fraser University（西蒙弗雷泽大学） ； Tel Aviv University（特拉维夫大学） ； CYENS Center Of Excellence（CYENS卓越中心） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Sound Sparks Motion框架，通过测试时调整音频视觉生成模型的多模态条件信号，实现视频动作编辑，无需训练，通过音频潜在和文本条件残差扰动促进动作修改，同时利用视觉语言模型反馈提升编辑效果。

Comments Project Page: https://amirhossein-razlighi.github.io/Sound_Sparks_Motion