CompoDistill: Attention Distillation for Compositional Reasoning in Multimodal LLMs
CompoDistill:多模态大语言模型中基于注意力的知识蒸馏用于组合推理
机构 * KAIST(韩国科学技术院)
专题命中 其他多模态 :multimodal(title,abstract);MLLM(abstract);分类 cs.CV、cs.AI
AI总结 本文提出CompoDistill,通过显式对齐学生与教师模型的视觉注意力,提升多模态大语言模型的组合推理能力,同时保持视觉问答任务的性能。
Comments ICLR'26, Project Page : https://ptkjw1997.github.io/CompoDistill-page/