视觉大模型 / VLM

VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence

VISTAQA: 评估联合视觉问答与像素级证据

Mozhgan Nasr Azadani, Yimu Wang, Yongpeng Zhu, Lihong Chen, Milan Ganai, Sean Sedwards, Marco Pavone, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） ； Stanford University（斯坦福大学） ； NVIDIA（英伟达） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；MLLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)

AI总结 本文提出VISTAQA基准，用于评估视觉问答中自由回答的正确性和像素级证据的定位，通过引入GROVE指标，强调回答正确性与视觉证据对齐的重要性，实验显示现有系统在该指标下表现有限，揭示了回答准确性和视觉证据对齐之间的显著差距。

Deeper Thought, Weaker Aim: Understanding and Mitigating Perceptual Impairment during Reasoning in Multimodal Large Language Models

更深入的思考，更弱的目标：理解并缓解多模态大语言模型推理过程中感知障碍

Ruiying Peng, Xueyu Wu, Jing Lei, Lu Hou, Yuanzheng Ma, Xiaohui Li

机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； Huawei Technologies（华为技术） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了多模态大语言模型在推理过程中出现的视觉感知障碍问题，提出了一种无需训练的视觉区域引导注意力框架，通过选择和重新加权视觉头部来引导模型关注与问题相关区域，从而提高视觉定位和推理准确性。

WikiVQABench: A Knowledge-Grounded Visual Question Answering Benchmark from Wikipedia and Wikidata

WikiVQABench: 一个基于维基百科和维基数据的知识引导视觉问答基准

Basel Shbita, Pengyuan Li, Anna Lisa Gentile

机构 * IBM Research San Jose（IBM桑 Jose研究实验室） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出WikiVQABench，一个结合维基百科图片、文章描述和维基数据结构化知识的知识引导视觉问答基准，通过大规模语言模型生成候选多选题，并由人工审核确保事实正确性和视觉-文本一致性，评估多种视觉-语言模型在知识密集型推理中的性能。

UCSF-PDGM-VQA: Visual Question Answering dataset for brain tumor MRI interpretation

UCSF-PDGM-VQA: 用于脑肿瘤MRI解读的视觉问答数据集

Shiv Ghosh, Junayd Lateef, Chih-Hua Liu, Yannan Yu, Andreas M. Rauschecker, Madhumita Sushil

机构 * Fung Institute for Engineering Leadership（工程领导力基金会） ； University of California, Berkeley（加州大学伯克利分校） ； Department of Radiology（放射科） ； University of California, San Francisco（加州大学旧金山分校） ； Division of Clinical Informatics and Digital Transformation（临床信息学与数字转型部） ； Department of Neurological Surgery（神经外科部） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一个临床相关的视觉问答基准数据集UCSF-PDGM-VQA，包含2387个问题-答案对，用于评估视觉语言模型在处理多序列3D MRI扫描中的能力，发现现有模型在多模态处理上存在缺陷。

Comments 10 pages, 2 figures, 6 tables

NeuroQA: A Large-Scale Image-Grounded Benchmark for 3D Brain MRI Understanding

NeuroQA: 一种大规模的3D脑部MRI理解图像 grounded 评估基准

Mohammad H. Abbasi, Favour Nerrise, Shaurnav Ghosh, Ridvan Yesiloglu, Yuncong Mao, Bailey Trang, Mohammad Asadi, Merryn Daniel, Gustavo Chau Loo Kung, Ken Chang, Pavan Pinkesh Shah, Adam Turnbull, Kyan Younes, Seena Dehkharghani, Ehsan Adeli

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出NeuroQA，一个大规模的3D脑部MRI视觉问答基准，包含来自12977名受试者的56953个问答对，涵盖5-104岁及五个临床领域，通过3D体积评估11种临床推理技能，并提供可复现的生成脚本和在线排行榜。

Comments 30 pages, dataset and benchmark release

InteractScience: Programmatic and Visually-Grounded Evaluation of Interactive Scientific Demonstration Code Generation

InteractScience: 交互式科学演示代码生成的程序化与视觉导向评估

Qiaosheng Chen, Yang Liu, Lei Li, Kai Chen, Qipeng Guo, Gong Cheng, Fei Yuan

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（新型软件技术国家重点实验室，南京大学，中国南京） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，中国上海） ； Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学，美国匹兹堡） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出InteractScience基准，用于评估大语言模型在生成交互式科学演示代码时结合科学知识与前端交互能力的综合表现，通过程序化测试和视觉测试相结合的方法，评估30种开源和闭源LLM的表现，揭示了在整合领域知识与交互前端编码方面的持续不足。

Comments 27 pages, 17 figures