视觉大模型 / VLM

VLM-AutoDrive: Post-Training Vision-Language Models for Safety-Critical Autonomous Driving Events

VLM-AutoDrive: 事后训练视觉-语言模型用于安全关键的自动驾驶事件

Mohammad Qazim Bhat, Yufan Huang, Niket Agarwal, Hao Wang, Michael Woods, John Kenyon, Tsung-Yi Lin, Xiaodong Yang, Ming-Yu Liu, Kevin Xie

机构 * NVIDIA 纠错

专题命中 视觉问答 ：VLM(title,title_cn)；vision-language model(title,abstract)；visual question answering(abstract)；multimodal large language model(abstract)

AI总结 本文提出VLM-AutoDrive框架，通过整合元数据生成的描述、LLM生成的描述、视觉问答对和推理监督，提升预训练视觉语言模型在安全关键自动驾驶事件中的检测性能。

Comments 16 pages, 9 figures, submitted to arXiv

Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding

Occ-VLM: 面向室内场景理解的占用接地视觉语言模型

Jianing Li, Zhou Fang, Yijiang Liu, Li Du

机构 * School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院） 纠错

专题命中 视觉问答 ：VLM(title,title_cn)；vision language model(title)；vision-language model(abstract)；visual question answering(abstract)

AI总结 提出Occ-VLM，仅用姿态RGB图像和单一2D视觉编码器，通过重建3D占用作为几何先验，实现统一的3D场景理解，在占用预测、3D VQA和密集描述任务上达到领先水平。

RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding

RE-VLM：事件增强的视觉-语言模型用于场景理解

Hanqing Liu, Mingjie Liu, Luoping Cui, Endian Lin, Donghong Jiang, Chuang Zhu

机构 * School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 视觉问答 ：VLM(title,title_cn)；vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RE-VLM，一种结合RGB图像和事件流的双流视觉-语言模型，旨在提升在正常和恶劣条件下对场景的理解能力。通过事件相机提供的高时间分辨率和宽动态范围的数据，RE-VLM在场景描述和视觉问答任务中优于现有模型。

Comments 10 pages, 6 figures, 6 tables

Decoding the Delta: Unifying Remote Sensing Change Detection and Understanding with Multimodal Large Language Models

解读Delta：利用多模态大语言模型统一遥感变化检测与理解

Xiaohe Li, Jiahao Li, Kaixin Zhang, Yuqiang Fang, Leilei Lin, Hong Wang, Haohua Wu, Zide Fan

机构 * Aerospace Information Research Institute, CAS（航天信息研究所，中国科学院） ； Space Engineering University（航天工程大学） ； Capital Normal University（首都师范大学） 纠错

专题命中 视觉问答 ：LLaVA(summary_cn,abstract)；multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；visual question answering(abstract)

AI总结 本文提出Delta-LLaVA框架，通过多时间尺度对比推理和空间定位，解决遥感变化理解中的时间盲问题，实现像素级分割与视觉问答的统一。

How Much Does It Cost to Answer My Question? Benchmarking Cloud VLM-based VQA Systems

回答我的问题需要多少成本？基于云VLM的VQA系统基准测试

Henri Vanhuynegem, Weitao Xu, Yiran Shen, Guohao Lan

专题命中 视觉问答 ：VLM(title,title_cn)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本研究推出首个将客户端输入预处理作为受控变量的VQABench基准，评估12种预处理技术在3个VQA数据集、4个商业VLMs上的95168次API调用，明确预处理对云VLM-based VQA的成本-质量影响，为VQA系统部署提供指导。

Object Tokens as a Bridge Between Segmentation and Visual Question Answering in Robotic Surgery

对象标记作为机器人手术中分割与视觉问答的桥梁

Yiping Li, Ronald de Jong, Romy van Jaarsveld, Franco Badaloni, Gino Kuiper, Jelle Ruurda, Josien Pluim, Marcel Breeuwer

机构 * Department of Biomedical Engineering, Eindhoven University of Technology（埃因霍温理工大学生物医学工程系） ； Department of Electrical Engineering, Eindhoven University of Technology（埃因霍温理工大学电气工程系） ； Department of Surgery, University Medical Center Utrecht（乌得勒支大学医学中心外科） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；visual question answering(title,abstract)；vision-language model(abstract)；visual reasoning(abstract)

AI总结 提出统一框架，联合像素级分割与视觉问答，通过VLM生成对象标记引导答案预测和分割掩码，在RAMIE和EndoVis18数据集上优于基线方法。

SAR-RAG: ATR Visual Question Answering by Semantic Search, Retrieval, and MLLM Generation

SAR-RAG：通过语义搜索、检索和MLLM生成实现目标识别的视觉问答

David F. Ramirez, Tim Overman, Kristen Jaskie, Joe Marvin, Andreas Spanias

机构 * SenSIP Center, School of ECEE, Arizona State University（SenSIP中心，电子与计算机工程学院，亚利桑那州立大学） ； Prime Solutions Group Inc（Prime Solutions Group公司） 纠错

专题命中 视觉问答 ：MLLM(title,title_cn)；visual question answering(title)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SAR-RAG方法，结合多模态大语言模型和语义嵌入向量数据库，通过语义搜索和检索提升SAR图像目标识别的准确性，通过分类和回归指标验证效果。

Comments Accepted to 2026 SPIE Defense + Security, Automatic Target Recognition XXXVI

AutoVQA-G: Self-Improving Agentic Framework for Automated Visual Question Answering and Grounding Annotation

AutoVQA-G：用于自动视觉问答与接地标注的自我改进代理框架

Rongsheng Hu, Runwei Guan, Yicheng Di, Jiayu Bao, Yuan Liu

机构 * School of Artificial Intelligence（人工智能学院） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；grounding(title,abstract)；VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出AutoVQA-G框架，通过迭代优化流程提升视觉问答接地标注的准确性，优于现有多模态LLM，为构建高质量数据促进更稳健的视觉语言模型训练提供新方法。

Comments Accepted at IEEE ICASSP 2026. 5 pages, 5 figures. Code available at https://github.com/rohnson1999/AutoVQA-G

Journal ref Proc. 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 12312-12316, 2026

Can Visual Language Models Replace OCR-Based Visual Question Answering Pipelines in Production? A Case Study in Retail

Bianca Lamm, Janis Keuper

专题命中 视觉问答 ：visual question answering(title,abstract)；visual language model(title)；vision language model(abstract)；VLM(abstract)

Bridging Vision Language Models and Symbolic Grounding for Video Question Answering

Haodi Ma, Vyom Pathak, Daisy Zhe Wang

机构 * Univerisy of Florida（佛罗里达大学） 纠错

专题命中 视觉问答 ：vision language model(title,abstract)；grounding(title,abstract)；VLM(abstract)；InternVL(abstract)

ASCD: Attention-Steerable Contrastive Decoding for Reducing Hallucination in MLLM

ASCD：用于减少多模态大语言模型（MLLM）幻觉的注意力可导向对比解码

Yujun Wang, Aniri, Jinhe Bi, Soeren Pirk, Yunpu Ma

专题命中 视觉问答 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 该研究针对MLLM的幻觉问题，提出ASCD方法，通过正负引导调整解码时的注意力分数，在多基准上显著减少幻觉并提升VQA准确率，且无需额外训练。

Comments Accepted at AAAI 2026

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(12): 10306-10314, 2026

Rethinking VLM Representation for VLA Initialization

重新思考用于VLA初始化的VLM表示

Weifeng Lin, Siyuan Huang, Hao Li, Tingwei Chen, Ruichuan An, Xinyu Wei, Jianbo Liu, Hongsheng Li

机构 * CUHK（香港中文大学） ； PolyU ； Peking University（北京大学） ； ACE Robotics（ACE机器人） 纠错

专题命中 视觉问答 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文通过控制表示设计问题，沿能力级具身VQA监督、参数更新策略和机器人数据预训练三个轴，研究VLA初始化，发现保留预训练VLM表示对动作性能至关重要，而LoRA比全微调提供更可靠的初始化，分阶段基于LoRA的训练获得最强变体。

Comments 9 main-text pages, 5 appendix pages, 4 figures

Surgical-LVLM: Learning to Adapt Large Vision-Language Model for Grounded Visual Question Answering in Robotic Surgery

Guankun Wang, Long Bai, Wan Jun Nah, Jie Wang, Zhaoxi Zhang, Zhen Chen, Jinlin Wu, Mobarakol Islam, Hongbin Liu, Hongliang Ren

专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(title,abstract)；visual language model(abstract)；grounding(abstract)

Comments The manuscript is accepted by ICLR 2025 FM-Wild Workshop

MetaRA: Metamorphic Robustness Assessment for Multimodal Large Language Model-based Visual Question Answering Systems

MetaRA: 多模态大语言模型基于视觉问答系统的元形态鲁棒性评估

Quanxing Xu, Yuhao Tian, Ling Zhou, Xian Zhong, Xiaohua Huang, Rubing Huang, Chia-Wen Lin

机构 * School of Computer Science and Engineering, Macau University of Science and Technology, Macao SAR（澳门科学技术大学计算机科学与工程学院） ； Hubei Key Laboratory of Transportation Internet of Things, School of Computer Science and Artificial Intelligence, Wuhan University of Technology（湖北省交通物联网重点实验室，武汉理工大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出MetaRA，一种基于元形态测试的框架，用于评估多模态大语言模型基于视觉问答系统的鲁棒性，通过生成受控的图像-问题输入变体，揭示模型在语言扰动、视觉线索依赖和多模态推理中的弱点。

Are Vision Language Models Ready for Clinical Diagnosis? A 3D Medical Benchmark for Tumor-centric Visual Question Answering

Yixiong Chen, Wenjie Xiao, Pedro R. A. S. Bassi, Xinze Zhou, Sezgin Er, Ibrahim Ethem Hamamci, Zongwei Zhou, Alan Yuille

专题命中 视觉问答 ：visual question answering(title,abstract)；vision language model(title)；vision-language model(abstract)；VLM(abstract)

Comments NeurIPS 2025 datasets&benchmarks track submission

DynRsl-VLM: Enhancing Autonomous Driving Perception with Dynamic Resolution Vision-Language Models

Xirui Zhou, Lianlei Shan, Xiaolin Gui

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(title,abstract)；vision language model(abstract)；visual question answering(abstract)

Failure-Informed Image Self-Augmentation for Multimodal Large Language Model Self-Improvement

面向多模态大语言模型自我改进的故障感知图像自增强

Chunyang Jiang, Pingping Zhang, Yuzhi Zhao, Wenao Ma, Zhijian Hou, Mengyang Wu, Yiyang Cai, Senkang Hu, Sitong Cheng, Chi-Min Chan, Wei Xue, Yike Guo

专题命中 视觉问答 ：MLLM(summary_cn,abstract)；multimodal large language model(title,abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 提出FISA框架，基于MLLM失败案例生成保留答案的增强图像，经自检验与双重保真过滤后，可提升视觉问答性能，且兼容文本自增强、数据效率更优。

A General-Purpose VLM Can Teach an Astronomy Foundation Model to Better Recognize Galaxy Morphology

通用视觉语言模型（VLM）可指导天文基础模型更好地识别星系形态

Dichang Zhang, Jiaqi Deng, Yixuan Shao, Yuanpeng Liu, Jiali Cui, Zhiqiang Lao, Heather Yu, Liang Peng, Simon Birrer, Dimitris Samaras

机构 * Stony Brook University（石溪大学） ； University of Technology Sydney（悉尼科技大学） ； Futurewei Technologies（华为主机技术公司） 纠错

专题命中 视觉问答 ：VLM(title,title_cn)；分类 cs.CV

AI总结 该研究提出用通用视觉语言模型（VLM）作为弱监督教师，指导天文基础模型Zoobot提升星系形态识别性能，可高效适配未来大型天文巡天任务。

Comments 12 pages, 5 figures

Invoice Haystack: Benchmarking Document Retrieval and Visual Question Answering Under Strong Visual Homogeneity

发票草垛：强视觉同质性下的文档检索与视觉问答基准测试

Heethanjan Kanagalingam, Thenukan Pathmanathan, Mokeeshan Vathanakumar, Basim Azam, Sarah Monazam Erfani, Naveed Akhtar

机构 * The University of Melbourne（墨尔本大学） ； Lakehead University（湖首大学） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；visual question answering(title,abstract)；vision language model(abstract)；分类 cs.CV

AI总结 针对视觉同质文档集合中的检索困难，提出Invoice Haystack基准和VL-RAG混合检索框架，通过文本与视觉嵌入融合及VLM验证过滤，显著提升检索准确率。

Comments Accepted to presentation at ECCV 2026

PAR3D: A Unified 3D-MLLM with Part-Aware Representation for Scene Understanding

PAR3D: 一种用于场景理解的统一部件感知3D多模态大语言模型

Shaohui Dai, Yansong Qu, You Shen, Shengchuan Zhang, Liujuan Cao

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学） 纠错

专题命中 视觉问答 ：MLLM(title,summary_cn)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出PAR3D框架，通过部件感知3D表示学习和层次化分割查询生成，解决现有3D-MLLM在细粒度部件理解上的不足，在部件级问答和指代分割任务上取得显著提升。

Comments Project page: https://atrovast.github.io/PAR3D/

A Benchmark for Hallucination Detection in VLMs for Gastrointestinal Endoscopy

胃肠内窥镜中视觉语言模型幻觉检测的基准测试

Aminu Lawal, Niyoj Oli, Sachin Acharya, Prashnna Gyawali, Maria Carmen Romano, Binod Bhattarai

机构 * University of Aberdeen（阿伯丁大学） ； Nepal Applied Mathematics and Informatics Institute for Research（尼泊尔应用数学与信息学研究所） ； West Virginia University（西弗吉尼亚大学） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；LLaVA(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)

AI总结 针对胃肠内窥镜领域，在Gut-VLM数据集上基准测试九种幻觉检测方法，发现白盒方法ReXTrust在所有五个视觉语言模型上AUC最高，平均领先19.5点。

Comments Accepted at the Medical Image Understanding and Analysis (MIUA) 2026 conference

Jina-VLM: Small Multilingual Vision Language Model

Jina-VLM：小规模多语言视觉语言模型

Andreas Koukounas, Georgios Mastrapas, Florian Hönicke, Sedigheh Eslami, Guillaume Roncari, Scott Martens, Han Xiao

机构 * Jina AI 纠错

专题命中 视觉问答 ：VLM(title,abstract)；vision language model(title)；vision-language model(abstract)；visual question answering(abstract)

AI总结 Jina-VLM是一款24亿参数的多语言视觉语言模型，通过结合SigLIP2视觉编码器与Qwen3语言主干，实现了高效多语言视觉问答性能。

Comments 18 pages, 1-7 main content, 13-18 appendix for tables and dataset

Are Large Vision Language Models Truly Grounded in Medical Images? Evidence from Italian Clinical Visual Question Answering

大视觉语言模型真的在医学图像上具有基础性吗？来自意大利临床视觉问答的证据

Federico Felizzi, Olivia Riccomi, Michele Ferramola, Francesco Andrea Causio, Manuel Del Medico, Vittorio De Vita, Lorenzo De Mori, Alessandra Piscitelli, Pietro Eric Risuleo, Bianca Destro Castaniti, Antonio Cristiano, Alessia Longo, Luigi De Angelis, Mariapia Vassalli, Marcello Di Pumpo

机构 * SIIAM ； NSBProject ； Dept. of Life Sciences & Public Health, UCSC（生命科学与公共卫生系，UCSC） ； ASL RM 4 ； UCSC ； Univ. Paris Cité（巴黎Cité大学） ； Univ. of Pisa（比萨大学） 纠错

专题命中 视觉问答 ：vision language model(title,abstract)；visual question answering(title,abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究通过测试四种先进模型在意大利医学问题上的表现，揭示了大视觉语言模型在视觉基础上的差异，强调了临床部署前的严格评估需求。

Comments Accepted at the Workshop on Multimodal Representation Learning for Healthcare (MMRL4H), EurIPS 2025

Adapting Lightweight Vision Language Models for Radiological Visual Question Answering

Aditya Shourya, Michel Dumontier, Chang Sun

机构 * Department of Advanced Computing Sciences, Maastricht University（马斯特里赫特大学高级计算科学系） ； Institute of Data Science, Maastricht University（马斯特里赫特大学数据科学研究所） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；vision language model(title)；vision-language model(abstract)；LLaVA(abstract)

ReasonDrive: Efficient Visual Question Answering for Autonomous Vehicles with Reasoning-Enhanced Small Vision-Language Models

Amirhosein Chahe, Lifeng Zhou

专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(title)；VLM(abstract)；LLaVA(abstract)

SimpleLLM4AD: An End-to-End Vision-Language Model with Graph Visual Question Answering for Autonomous Driving

Peiru Zheng, Yun Zhao, Zhan Gong, Hong Zhu, Shaohua Wu

专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments 16 pages, 3 figures

FOCUS: Internal MLLM Representations for Efficient Fine-Grained Visual Question Answering

Liangyu Zhong, Fabio Rosenthal, Joachim Sicking, Fabian Hüger, Thorsten Bagdonat, Hanno Gottschalk, Leo Schwinn

机构 * Technical University of Berlin（柏林技术大学） ； Technical University of Munich（慕尼黑技术大学） ； CARIAD SE ； Volkswagen AG（大众集团） 纠错

专题命中 视觉问答 ：MLLM(title,abstract)；visual question answering(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025 - main track. Project page: https://focus-mllm-vqa.github.io/

DH-VLM: Dual-Horizon Cooperative Latent Reasoning for Autonomous Driving

DH-VLM：面向自动驾驶的双时域协同隐层推理框架

Ziyi Song, Chen Xia, Hang Yu, Sheng Zhou, Zhisheng Niu

机构 * Tsinghua University（清华大学） 纠错

专题命中 视觉问答 ：VLM(title,title_cn)

AI总结 本文提出DH-VLM双时域协同隐层推理框架，结合基础设施与自车实现非对称语义协同，构建协同QA数据集支撑推理，在规划性能、通信成本等指标上优于现有方法，为协同自动驾驶提供实用鲁棒范式。

Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

通过稀疏自编码器提取和分析视觉语言模型中的多模态概念

Sergio Lanza, Jae Hee Lee, Stefan Wermter

机构 * Knowledge Technology, Department of Informatics, University of Hamburg（汉堡大学信息学系知识技术实验室） 纠错

专题命中 视觉问答 ：vision language model(title,abstract)；LLaVA(abstract,abstract_cn)；VLM(abstract_cn)；visual question answering(abstract)

AI总结 提出基于稀疏自编码器的框架，从视觉语言模型中提取视觉、文本和多模态概念，通过余弦相似度评估概念与样本的对齐，在VQA数据集上提升视觉概念质量达45%。

Comments International Conference on Artificial Neural Networks (ICANN), 2026, Padua

Semantic-Clipping: Efficient Vision-Language Modeling with Semantic-Guidedd Visual Selection

Bangzheng Li, Fei Wang, Wenxuan Zhou, Nan Xu, Ben Zhou, Sheng Zhang, Hoifung Poon, Muhao Chen

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；visual reasoning(abstract)