视觉大模型 / VLM

Do VLMs Reason Like Engineers? A Benchmark and a Stage-wise Evaluation

视觉语言模型像工程师一样推理吗？一个基准测试与分阶段评估

Syed Wasiq, Syed Mohamad Tawseeq, Yashwant Pravinrao Bangde, Debaditya Roy

机构 * Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 提出工程视觉问答基准EngVQA和8阶段自动评估框架，揭示当前视觉语言模型在工程推理中的显著局限，并验证了自动化评估与人工评分的高度一致性。

Comments 9 pages (main text), 4 figures, 2 tables; 50 pages total including appendix. The first two authors contributed equally

Where Does the Answer Come From? Benchmarking View-Level Visual Evidence Identification in Multi-View MLLMs for Autonomous Driving

答案从何而来？面向自动驾驶的多视角MLLMs中视角级视觉证据识别基准

Yimu Wang, Yee Man Choi, Barry Zhang, Mozhgan Nasr Azadani, Sean Sedwards, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)

AI总结 针对多视角自动驾驶场景，提出一个基准测试，评估多模态大模型在视觉问答中识别支持性相机视角的能力，包含122个冲突中心问题对，并区分视角选择与答案正确性。

Many Dialects, Many Languages, One Cultural Lens: Evaluating Multilingual VLMs for Bengali Culture Understanding Across Historically Linked Languages and Regional Dialects

多种方言，多种语言，一种文化视角：评估多语言视觉语言模型对孟加拉文化的理解，涵盖历史关联语言和地区方言

Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi, Shubhashis Roy Dipta, Rubaya Tabassum, Ariful Ekraj Hridoy, Mehraj Mahmood, Mahbub E Sobhani, Md. Tarek Hasan, Swakkhar Shatabda

机构 * United International University（国际联合大学） ； BRAC University（布拉塔克大学） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；visual question answering(abstract)；grounding(abstract)

AI总结 提出 BanglaVerse 基准，通过手工标注图像和扩展至多种语言及方言，评估多语言视觉语言模型在孟加拉文化理解中的表现，发现标准孟加拉语评估高估模型能力，方言变化导致性能下降，文化知识缺失是主要瓶颈。

Comments https://labib1610.github.io/BanglaVerse/

Towards Reliable Fetal Ultrasound Interpretation with Multi-Agent Collaboration

面向可靠胎儿超声解读的多智能体协作

Xiaotian Hu, Mingxuan Liu, Junwei Huang, Kasidit Anmahapong, Yifei Chen, Yiming Huang, Xuguang Bai, Zihan Li, Hongjia Yang, Yingqi Hao, Hong Xu, Yu Jiang, Tian Tian, Yi Liao, Haibo Qu, Qiyuan Tian

机构 * Tsinghua University（清华大学） ； University of California San Diego（加州大学圣地亚哥分校） ； West China Second University Hospital, Sichuan University（四川大学西昌医学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 提出FetUSAgents多智能体系统，通过协作LLM代理和双路径证据仲裁（DPEA）整合视觉工具与临床推理，在胎儿超声VQA、报告生成等任务上超越最强基线25%以上。

RoiMAM: Region-of-Interest Medical Attention Model for Efficient Vision-Language Understanding

RoiMAM：面向高效视觉-语言理解的感兴趣区域医学注意模型

Jiayan Yang, Zhuoyu Wu, Wenqi Fang

机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Science（深圳先进技术研究院，中国科学院） ； CyPhi( ) AI Research Lab, School of IT, Monash University, Malaysia Campus（CyPhi人工智能研究实验室，信息学院，墨尔本大学马来西亚校区） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出RoiMAM，通过整合无训练ROI生成模块和语义选择性抑制，专注于病变相关区域，提升医疗视觉问答的效率与准确性。

Comments under revision

Verification Mirage: Mapping the Reliability Boundary of Self-Verification in Medical VQA

验证幻象：映射医学视觉问答中自我验证的可靠性边界

Ruinan Jin, Beidi Zhao, Myeongkyun Kang, Qiong Zhang, Xiaoxiao Li

机构 * The University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Redmin University of China（红矿大学） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文研究了医学视觉问答中自我验证的可靠性边界，通过分解验证行为中的辨别能力和同意偏差，发现验证幻象现象，指出任务条件对可靠性有显著影响，且验证无法独立提供安全信号。

Comments 31 pages, 12 figures

HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge Graph Question Answering on Household Daily Activities

HOME-KGQA：一个多模态知识图谱问答基准数据集用于家庭日常活动

Shusaku Egami, Aoi Ohta, Tomoki Tsujimura, Masaki Asada, Tatsuya Ishigaki, Ken Fukuda, Masahiro Hamasaki, Hiroya Takamura

机构 * National Institute of Advanced Industrial Science（国家工业科学与技术研究院） 纠错

专题命中 视觉问答 ：grounding(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出HOME-KGQA基准数据集，用于多模态知识图谱问答，包含多跳自然语言问题和图数据库查询语言，挑战多级时空推理和多模态 grounding。实验表明基于LLM的KGQA方法在该数据集上表现不佳，凸显实际部署中KGQA系统的挑战。

Comments 12 pages, 4 figures, 7 tables, accepted at LREC2026

Toward Multimodal Conversational AI for Age-Related Macular Degeneration

迈向年龄相关性黄斑变性的多模态对话式人工智能

Ran Gu, Benjamin Hou, Mélanie Hébert, Asmita Indurkar, Yifan Yang, Emily Y. Chew, Tiarnán D. L. Keenan, Zhiyong Lu

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出OcularChat，一种基于多模态大语言模型的系统，通过模拟患者与医生对话，利用视网膜彩色照相进行黄斑变性诊断，展现出优于现有模型的分类性能和临床解释能力。

Comments 38 pages, 4 figures

Head-Aware Visual Cropping: Enhancing Fine-Grained VQA with Attention-Guided Subimage

头感知视觉裁剪：通过注意力引导的子图像增强细粒度VQA

Junfei Xie, Peng Pan, Xulong Zhang

机构 * Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 通过注意力引导的子图像增强细粒度VQA，提出无需训练的HAVC方法，利用优化的注意力头提升视觉定位精度。

Comments Accepted to 2026 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2026)

When Eyes and Ears Disagree: Can MLLMs Discern Audio-Visual Confusion?

Qilang Ye, Wei Zeng, Meng Liu, Jie Zhang, Yupeng Hu, Zitong Yu, Yu Zhou

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)

Comments Accepted by AAAI 2026

Efficient Whole Slide Pathology VQA via Token Compression

Weimin Lyu, Qingqiao Hu, Kehan Qi, Zhan Shi, Wentao Huang, Saumya Gupta, Chao Chen

机构 * Stony Brook University（石溪大学） 纠错

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)

Chimera: Diagnosing Shortcut Learning in Visual-Language Understanding

Ziheng Chi, Yifan Hou, Chenxi Pang, Shaobo Cui, Mubashara Akhtar, Mrinmaya Sachan

机构 * ETH Zürich（苏黎世联邦理工学院） ； Google DeepMind（谷歌DeepMind） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual reasoning(abstract)；visual question answering(abstract)；grounding(abstract)

Comments Our code (https://github.com/CHIzhP/Chimera) and data (https://huggingface.co/datasets/CHIzhP/Chimera) are publicly available

Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models

Siddharth Karamcheti, Suraj Nair, Ashwin Balakrishna, Percy Liang, Thomas Kollar, Dorsa Sadigh

专题命中 视觉问答 ：VLM(abstract,comments)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Published at ICML 2024. 22 pages, 11 figures. Training code and models: https://github.com/TRI-ML/prismatic-vlms. Evaluation code: https://github.com/TRI-ML/vlm-evaluation

Frequency-Domain Dual-Branch Fusion for Medical Visual Question Answering

用于医学视觉问答的频域双分支融合

Yusra Tariq, Rakesh Chandra Joshi

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出频域双分支融合模块，结合BiomedCLIP与BioBART，在PMC-VQA预训练后于VQA-RAD、SLAKE微调，提升医学VQA性能且架构轻量高效。

Comments 7 Pages, 4 figures, under review at AAAI 27

MedHallTune: An Instruction-Tuning Benchmark for Mitigating Medical Hallucination in Vision-Language Models

MedHallTune：用于缓解视觉-语言模型中医患幻觉的指令调优基准

Qiao Yan, Yuchen Yuan, Xiaowei Hu, Yihan Wang, Jiaqi Xu, Xiwen Wu, Jinpeng Li, Chi-Wing Fu, Pheng-Ann Heng

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出MedHallTune基准，用于评估和缓解医疗视觉-语言模型的幻觉，实验表明用该基准微调模型可提升幻觉管理能力与下游VQA任务零样本性能，助力开发更可信的医疗视觉-语言模型。

Q-TriM: Question-Guided Tri-Modal Attention for Audio-Visual Question Answering

Q-TriM：用于视听问答的问题引导三模态注意力

SungHun Kim, SeungJun Baek

机构 * Dept. of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究视听问答问题，提出Q-TriM以浅并行方式进行多模态融合，引入基于文本的视频和音频注意力操作框架，避免深度堆叠融合的问题，在三个基准测试中达最优性能。

Comments Accepted at ECCV 2026

Incentivizing Vision Language Models to Search for Long Video Question Answering

激励视觉语言模型进行长视频问答搜索

Harsh Goel, S P Sharan, Sahil Shah, Minkyu Choi, Joungbin An, Kristen Grauman, Sandeep P. Chinchali

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉问答 ：vision language model(title)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 研究将长视频问答从被动单流程感知任务转变为多轮检索过程，核心方法是自然语言驱动搜索及强化学习后训练，贡献是提升长视频理解基准测试分数。

Comments To appear at the European Conference on Computer Vision (ECCV 2026)

LongVQUBench: Benchmarking Long-Term Video Quality Understanding of Vision-Language Models

LongVQUBench：评估视觉语言模型的长期视频质量理解能力

Arpita Nema, Hanwei Zhu, Xi Zhang, Weisi Lin

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出LongVQUBench基准，包含1200+长视频和1500个问题，通过三级评估（局部、跨事件、全局）和针孔失真问答范式，揭示现有LVLMs在长视频质量理解上的局限性。

Comments Accepted at European Conference on Computer Vision 2026

ProMSA:Progressive Multimodal Search Agents for Knowledge-Based Visual Question Answering

ProMSA: 渐进式多模态搜索智能体用于基于知识的视觉问答

ZhengXian Wu, Hangrui Xu, Kai Shi, Zhuohong Chen, Yunyao Yu, Chuanrui Zhang, Zirui Liao, Jun Yang, Zhenyu Yang, Haonan Lu, Haoqian Wang

机构 * OPPO AI Center, OPPO Inc. China（OPPO AI中心，OPPO公司） ； The Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出渐进式多模态搜索智能体ProMSA，通过迭代选择图像搜索、文本搜索或停止，在显式工具调用预算和去重机制下，结合序列级强化学习优化，提升基于知识的视觉问答的检索和端到端准确性。

Wasserstein Equilibrium Decoding for Reliable Medical Visual Question Answering

Wasserstein均衡解码用于可靠的医疗视觉问答

Luca Hagen, Johanna P. Müller, Weitong Zhang, Mengyun Qiao, Bernhard Kainz

机构 * Friedrich-Alexander University Erlangen-Nürnberg（弗里德里希-亚历山大厄林根-纽伦堡大学） ； Imperial College London（伦敦帝国理工学院） ； University College London（伦敦大学学院） 纠错

专题命中 视觉问答 ：visual question answering(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于Wasserstein距离的均衡解码方法，用于改进医疗视觉问答系统，通过语义感知的停止准则提高解码效率和准确性，同时在VQA-RAD和PathVQA数据集上实现了显著的性能提升。

Noise-Aware Visual Representation Learning for Medical Visual Question Answering

面向医学视觉问答的噪声感知视觉表示学习

I Putu Adi Pratama, Bahadorreza Ofoghi, Atul Sajjanhar, Shang Gao

机构 * Deakin University（德克萨斯大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出一种噪声感知的医学视觉问答框架，通过去噪自编码器学习鲁棒的视觉表示，并利用低秩适配高效微调，在SLAKE和PathVQA基准上提升了抗噪性和性能。

Comments 15 pages, 2 figures. Conference submission

Benchmarking Large Vision-Language Models on CFMME: A Comprehensive Chinese Financial Multimodal Evaluation Dataset

大型视觉语言模型在CFMME上的基准测试：一个全面的中文金融多模态评估数据集

Qian Chen, Xianyin Zhang, Yanzhi Liu, Lifan Guo, Feng Chen, Chi Zhang

机构 * Qwen DianJin Team, Alibaba Cloud Computing（文言金团队，阿里云计算） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出CFMME，一个包含6052个实例的中文金融多模态评估基准，涵盖八种主要金融图像模态和四项核心多模态任务，用于评估LVLMs在金融业务全流程中的感知、理解、推理和认知能力。

PEDESTRIANQA: A Benchmark for Vision-Language Models on Pedestrian Intention and Trajectory Prediction

PEDESTRIANQA: 面向行人意图与轨迹预测的视觉-语言模型基准

Naman Mishra, Shankar Gangisetty, C. V. Jawahar

机构 * CVIT, IIIT-Hyderabad, India（IIIT-海得拉巴计算机视觉与智能技术研究所，印度） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出大规模视频数据集PedestrianQA，将行人意图和轨迹预测转化为带结构化理由的问答任务，通过微调视觉-语言模型显著提升预测准确性与可解释性。

Rethinking Visual Attribution for Chest X-ray Reasoning in Large Vision Language Models

重新思考用于大视觉语言模型胸部X光推理中的视觉归因

Guangzhi Xiong, Qiao Jin, Sanchit Sinha, Zhiyong Lu, Aidong Zhang

机构 * University of Virginia（弗吉尼亚大学） ； National Institutes of Health（美国国立卫生研究院） 纠错

专题命中 视觉问答 ：vision language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文针对大视觉语言模型在胸部X光推理中视觉归因的可靠性问题，提出了一种因果评估框架，通过反事实编辑保留仅由专家标注区域验证的X光-VQA样本，以确定模型预测的因果责任区域。通过11种归因方法、6种开源LVLMs和两种输出模式，发现现有归因方法往往无法识别LVLMs所使用的证据。为此，本文提出MedFocus，一种基于概念的归因方法，通过不平衡最优传输局部化具有临床意义的解剖区域，并通过针对性干预测量其对模型输出的因果效应，显著优于现有方法，推动医疗LVLMs的更可信归因。

Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style

AI 是否能像艺术史家一样看？解析视觉语言模型如何识别艺术风格

Marvin Limpijankit, Milad Alshomary, Yassin Oulad Daoud, Amith Ananthram, Tim Trombley, Emily L. Spratt, Anna Filonenko, Hannah Pivo, Elias Stengel-Eskin, Mohit Bansal, Noam M. Elcott, Kathleen McKeown

机构 * Columbia University, Department of Computer Science（哥伦比亚大学计算机科学系） ； Columbia University, Department of Art History & Archaeology（哥伦比亚大学艺术史与考古系） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视觉问答 ：vision language model(title)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了视觉语言模型（VLMs）在识别艺术风格方面的机制，通过跨学科合作，分析VLMs如何预测艺术风格，并评估其与艺术史家判断艺术风格的标准的一致性。

Comments 20 pages, 18 figures

CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering

CoGR-MoE：基于概念引导的专家路由与一致选择和灵活推理的视觉问答

Xiyin Zeng, Yi Lu, Hao Wang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 CoGR-MoE通过整合答案选项的语义信息指导专家选择，利用选项特征重新加权专家，生成判别性表示，用于选项比较和对比学习优化，提升视觉问答性能。

StableSketcher: Enhancing Diffusion Model for Pixel-based Sketch Generation via Visual Question Answering Feedback

StableSketcher: 通过视觉问答反馈增强扩散模型以生成基于像素的素描

Jiho Park, Sieun Choi, Jaeyoon Seo, Jihie Kim

机构 * Dongguk University（东国大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出StableSketcher框架，通过优化潜在解码和视觉问答反馈提升扩散模型生成手绘素描的逼真度和语义一致性。

Comments Under review at IEEE Access. Author-submitted preprint. Not the IEEE-published version

V2X-QA: A Comprehensive Reasoning Dataset and Benchmark for Multimodal Large Language Models in Autonomous Driving Across Ego, Infrastructure, and Cooperative Views

V2X-QA：面向自动驾驶多视角的多模态大语言模型综合数据集与基准测试

Junwei You, Pei Li, Zhuoyu Jiang, Weizhe Tang, Zilin Huang, Rui Gan, Jiaxi Liu, Yan Zhao, Sikai Chen, Bin Ran

机构 * Department of Civil and Environmental Engineering, University of Wisconsin–Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； Department of Civil and Architectural Engineering and Construction Management, University of Wyoming（怀俄明大学土木与建筑工程及施工管理系） ； School of Transportation, Southeast University（东南大学交通学院） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出V2X-QA数据集和基准测试，用于评估多模态大语言模型在自动驾驶中的多视角推理能力，揭示视角对性能的影响，并提出V2X-MoE模型以提升多视角推理性能。

TPCL: Task Progressive Curriculum Learning for Robust Visual Question Answering

TPCL：面向鲁棒视觉问答的任务渐进课程学习

Ahmed Akl, Abdelwahed Khamis, Zhe Wang, Ali Cheraghian, Sara Khalifa, Kewen Wang

机构 * School of Information and Communication Technology（信息与通信技术学院） ； Data61, CSIRO Australia（Data61，澳大利亚联邦科学与工业研究组织） ； School of Information Systems（信息系统学院） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出TPCL框架，通过渐进式课程学习提升视觉问答在分布偏移、低数据等场景下的鲁棒性，取得SOTA性能。

Comments Our source code is available at https://github.com/AhmedAAkl/tpcl

EgoCross: Benchmarking Multimodal Large Language Models for Cross-Domain Egocentric Video Question Answering

EgoCross：多模态大语言模型跨领域眼动视频问答基准测试

Yanjun Li, Yuqian Fu, Tianwen Qian, Qi'ao Xu, Silong Dai, Danda Pani Paudel, Luc Van Gool, Xiaoling Wang

专题命中 视觉问答 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 EgoCross提出一个跨领域眼动视频问答基准，评估多模态大语言模型在不同领域中的泛化能力，揭示现有模型在非日常领域任务中的局限性。