When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities
当结构化稀疏自编码器跨模态学习一致概念时
机构 * Zhejiang University(浙江大学) ; Nanyang Technological University(南洋理工大学)
AI总结 研究视觉语言模型中普通稀疏自编码器难以学习模态一致概念的问题,提出结构化稀疏自编码器$S^2AE$,通过图像块分组及结构化稀疏正则化强化概念一致性,经实验验证该方法在语义对齐等方面有提升,能促进跨模态表示更连贯解缠。