The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs
计数存在但未对齐:理解和纠正视觉语言模型中的计数失败
机构 * MBZUAI(穆罕默德·本·扎耶德人工智能大学) ; Imperial College London(伦敦帝国学院)
AI总结 研究视觉语言模型计数失败问题,通过对VLM激活进行探测训练及分析,发现其虽常编码正确计数但输出错误,提出探测器引导的自校正方法,在不更新参数时提高计数准确率,揭示内部知识与模型输出差距并提供改进工具。