Breaking Modality Heterogeneity in Low-Bit Quantization for Large Vision-Language Models
打破大视觉-语言模型低比特量化中的模态异质性
机构 * VCIP, College of Computer Science, Nankai University（南开大学计算机科学学院VCIP） ； D-ITET, ETH Zürich（苏黎世联邦理工学院D-ITET） ； OPPO Research Institute（OPPO研究院） ； Department of Computing, Hong Kong Polytechnic University（香港理工大学计算机系）
AI总结 本文提出SplitQ框架，通过通道分割和自适应跨模态校准模块，解决大视觉-语言模型在低比特量化中因模态异质性导致的精度下降问题，显著提升了在多种多模态数据集上的性能。
