多模态信息融合

LoMo: Local Modality Substitution for Deeper Vision-Language Fusion

LoMo: 局部模态替换以实现更深的视觉-语言融合

Feng Han, Zhixiong Zhang, Zheming Liang, Yibin Wang, Jiaqi Wang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 音视频/视觉语言融合 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 针对视觉-语言模型在模态替换时性能下降的“载体敏感性”问题，提出局部模态替换（LoMo）数据策展范式，通过将文本片段动态渲染为图像来训练跨模态表示不变性，显著提升多模态推理与融合效果。