FineLAP: Taming Heterogeneous Supervision for Fine-grained Language-Audio Pretraining
FineLAP: 通过异质监督驯化细粒度语言-音频预训练
机构 * X-LANCE Lab, Shanghai Jiao Tong University(上海交通大学X-LANCE实验室) ; SJTU Paris Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院) ; Shanghai Innovation Institute(上海创新研究院) ; The Chinese University of Hong Kong(香港中文大学)
AI总结 本文提出FineLAP,一种新型预训练范式,通过异质数据提升CLAP在clip和frame级对齐能力,引入双流sigmoid损失和聚类采样策略,结合大规模合成SED数据集,实现多任务SOTA性能。