MOSAIC: Adaptive Inter-layer Composition for Efficient Heterogeneous Vision-Language Models
MOSAIC:用于高效异构视觉语言模型的自适应层间组合
机构 * LiAuto Inc.(理想汽车公司)
专题命中 其他VLM :vision-language model(title,abstract);分类 cs.CV
AI总结 研究针对视觉语言模型中异构结构依赖手工静态混合模式的问题,提出硬件感知搜索方法MOSAIC,通过多目标混合整数规划确定最优配置,并引入两阶段参数恢复过程,提升了模型推理效率且降低训练成本。
Comments 17 pages, 7 figures