视觉大模型 / VLM

SalArt-VQA: Diagnosing Whether VLMs Understand Salient Artifacts in Generated Images

SalArt-VQA: 诊断VLM是否理解生成图像中的显著伪影

Xiaoxiao Sun, Ruotian Zhang, Junzhe Huang, James Burgess, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； Zhejiang University（浙江大学） ； The University of Queensland（昆士兰大学） 纠错

专题命中 视觉问答 ：VLM(title_cn,summary_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出SalArt-VQA基准，通过950张图像和3681道多选题，从检测、定位、空间基础、缺陷识别四方面评估VLM对生成图像伪影的理解，揭示高检测准确率下隐藏的失败模式。

Comments 23 pages, 7 figures, 7 tables. Dataset: https://huggingface.co/datasets/salartvqa/SalArt-VQA

GRIP: Feedback-Guided Prompt Retrieval for Large Multimodal Models

GRIP：面向大型多模态模型的反馈引导提示检索

Garvita Allabadi, Matteo Sodano, Roberto Estevão, Yuxiong Wang, Vikram Adve, Emre Kiciman, Ranveer Chandra

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Bonn（波恩大学） ； Microsoft（微软） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 提出GRIP，一种可学习的视觉检索框架，利用多模态模型反馈识别真正提升上下文学习性能的示例，在分类、描述和VQA任务上优于基于相似度的检索。