The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
大语言模型的瓶颈:为何开源视觉大语言模型在层级视觉识别上遇到困难
机构 * Boston University(波士顿大学)
专题命中 其他LLM :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文指出开源大语言模型缺乏对视觉世界的层级知识,导致视觉大语言模型在识别如水母鱼但无法识别脊椎动物时存在瓶颈,通过构建六种分类学和四个图像数据集的百万级多项选择视觉问答任务验证了这一问题。
Comments Accepted to CVPR 2026. Project page and code: https://yuanqing-ai.github.io/llm-hierarchy/