Modular Multimodal Classification Without Fine-Tuning: A Simple Compositional Approach
无需微调的模块化多模态分类:一种简单的组合方法
机构 * Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学) ; Vector Institute(向量研究所) ; University of Toronto(多伦多大学)
AI总结 本文提出CoMET,一种无需微调的多模态分类方法,通过冻结预训练的backbone对每个模态进行处理,使用PCA压缩嵌入并输入到表格基础模型中进行预测,展示了PCA作为适配器在不同模态上的强大鲁棒性能,并提出了PALPooling来提升表示质量,实现了无需训练的多模态学习最佳结果。
Comments 30 pages, 17 figures