RAG / 检索增强生成

Failing to See or Failing to Know? Attributing Errors in Vision-Language Models

是看不见还是不知道？归因视觉语言模型中的错误

Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

机构 * MBZUAI The University of Melbourne（MBZUAI墨尔本大学） 纠错

专题命中 多模态RAG ：knowledge retrieval(abstract)；分类 cs.CL

AI总结 研究视觉语言模型在回答需额外知识问题时的错误，提出统一框架分离失败模式，探讨预生成信号能否预测错误源，发现可在解码前预测，能据此进行针对性干预。