多模态大模型

IsoNet: Spatially-aware audio-visual target speech extraction in complex acoustic environments

IsoNet：在复杂声学环境中具有空间意识的音频视觉目标语音提取

Dinanath Padhya, Sajen Maharjan, Binita Adhikari, Ishwor Raj Pokharel

机构 * Department of Electronics and Computer Engineering, Thapathali Campus, Institute of Engineering, Tribhuvan University（电子与计算机工程系，Thapathali校区，工程学院，塔波胡万大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)

AI总结 IsoNet通过结合多通道STFT特征、GCC-PHAT空间线索和面部条件视觉嵌入，实现了在紧凑麦克风阵列上的目标语音提取，其在复杂声学环境中的性能优于传统方法。

Comments 8 pages

JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching

JAM-Flow：联合音频-运动合成与流匹配

Mingi Kwon, Joonghyuk Shin, Jaeseok Jung, Jaesik Park, Youngjung Uh

机构 * Yonsei University（延世大学） ； CineLingo ； Seoul National University（首尔国立大学） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、eess.AS

AI总结 本文提出JAM-Flow框架，通过流匹配和多模态扩散变压器架构，实现面部运动与语音的联合合成与条件生成，支持文本到说话人生成、音频驱动动画等多种任务。

Comments project page: https://joonghyuk.com/jamflow-web Under review. Preprint published on arXiv

Sound Sparks Motion: Audio and Text Tuning for Video Editing

声音激发动作：用于视频编辑的音频和文本微调

AmirHossein Naghi Razlighi, Aryan Mikaeili, Ali Mahdavi-Amiri, Daniel Cohen-Or, Yiorgos Chrysanthou

机构 * University of Cyprus（塞浦路斯大学） ； Simon Fraser University（西蒙弗雷泽大学） ； Tel Aviv University（特拉维夫大学） ； CYENS Center Of Excellence（CYENS卓越中心） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出Sound Sparks Motion框架，通过测试时调整音频视觉生成模型的多模态条件信号，实现视频动作编辑，无需训练，通过音频潜在和文本条件残差扰动促进动作修改，同时利用视觉语言模型反馈提升编辑效果。

Comments Project Page: https://amirhossein-razlighi.github.io/Sound_Sparks_Motion