Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models
模态间隙驱动的子空间对齐训练范式用于多模态大语言模型
机构 * HKUST(GZ)(香港科技大学(广州)) ; NUS(新加坡国立大学) ; sh AILab ; SII ; Stanford(斯坦福大学) ; UCLA(加州大学洛杉矶分校) ; Yale(耶鲁大学) ; SJTU(上海交通大学) ; GBU(国防大学) ; PKU(北京大学)
专题命中 其他安全 :alignment(title,abstract);分类 cs.AI
AI总结 针对多模态对比学习中的模态间隙问题,提出固定帧模态间隙理论,并基于该理论设计无训练的对齐策略ReAlign和可扩展训练范式ReVision,利用无配对数据实现视觉与语言表示的高效对齐。