视觉大模型 / VLM

Rethinking VLM Representation for VLA Initialization

重新思考用于VLA初始化的VLM表示

Weifeng Lin, Siyuan Huang, Hao Li, Tingwei Chen, Ruichuan An, Xinyu Wei, Jianbo Liu, Hongsheng Li

机构 * CUHK（香港中文大学） ； PolyU ； Peking University（北京大学） ； ACE Robotics（ACE机器人） 纠错

专题命中 视觉问答 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文通过控制表示设计问题，沿能力级具身VQA监督、参数更新策略和机器人数据预训练三个轴，研究VLA初始化，发现保留预训练VLM表示对动作性能至关重要，而LoRA比全微调提供更可靠的初始化，分阶段基于LoRA的训练获得最强变体。

Comments 9 main-text pages, 5 appendix pages, 4 figures

VisualOverload: Probing Visual Understanding of VLMs in Really Dense Scenes

VisualOverload: 在真正密集场景中探测VLM的视觉理解

Paul Gavrikov, Wei Lin, M. Jehanzeb Mirza, Soumya Jahagirdar, Muhammad Huzaifa, Sivan Doveh, Serena Yeung-Levy, James Glass, Hilde Kuehne

机构 * Independent Researcher（独立研究者） ； JKU Linz（林茨JKU） ； MIT CSAIL ； Tübingen AI Center（图宾根人工智能中心） ； Stanford（斯坦福） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

专题命中 视觉问答 ：VLM(title_cn,summary_cn)；visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出VisualOverload基准，通过密集场景中的简单视觉任务测试VLM，发现最佳模型仅达69.5%准确率，揭示计数、OCR和逻辑一致性等关键缺陷。

Comments Accepted at CVPR 2026

AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation

AnatomiX：一种解剖学感知的胸部X光解读多模态大语言模型

Anees Ur Rehman Hashmi, Numan Saeed, Christoph Lippert

机构 * Hasso Plattner Institute（霍普夫纳研究所） ； MBZUAI（穆萨大学人工智能研究所） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出AnatomiX，一种两阶段解剖学感知多模态大语言模型，通过先识别解剖结构再执行下游任务，在解剖定位、短语定位、定位诊断和定位描述任务上相比现有方法提升超过25%。

Med-R2: An Adversarial Benchmark for Evidence-Grounded Reasoning in Medical VLMs

Med-R2: 面向医学视觉语言模型中基于证据推理的对抗性基准

Wen Ma, Fucheng Niu, Zhiting Fan, Zikai Xiao, Jiaxiang Liu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Guangdong Institute of Intelligence Science and Technology（广东智能科学技术研究院） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 提出 Med-R2 Bench，一个分层对抗性基准，通过逐步QA任务和对抗扰动评估医学VLM在临床工作流中的视觉证据推理鲁棒性。

FineBench: Benchmarking and Enhancing Vision-Language Models for Fine-grained Human Activity Understanding

FineBench: 细粒度人类活动理解的视觉-语言模型基准测试与增强

Gueter Josmy Faure, Min-Hung Chen, Jia-Fong Yeh, Hung-Ting Su, Winston H. Hsu

机构 * National Taiwan University（国立台湾大学） ； Google（谷歌） ； Independent Researcher（独立研究员） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 针对视觉-语言模型在细粒度人类活动理解上的不足，提出包含密集标注的长视频问答基准FineBench和增强框架FineAgent。

Comments CVPR'26 (Workshop on Video Large Language Models). Project Page: https://joslefaure.github.io/assets/html/finebench.html

Spatial-aware Vision Language Model for Autonomous Driving

面向自动驾驶的空间感知视觉语言模型

Weijie Wei, Zhipeng Luo, Ling Feng, Venice Erin Liong

机构 * Motional ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视觉问答 ：vision language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出LVLDrive框架，通过融合LiDAR点云与视觉语言模型，利用渐进融合Q-Former和空间感知问答数据集，解决3D度量空间推理瓶颈，提升自动驾驶场景理解与决策可靠性。

Comments Accepted to CVPR AutoPilot Workshop 2026

Parameter-Efficient VLMs for Gastrointestinal Endoscopy: Medical Image Generation and Clinical Visual Question Answering

用于胃肠内窥镜的参数高效视觉语言模型：医学图像生成与临床视觉问答

Ojonugwa Oluwafemi Ejiga Peter, Frederick Akor Ejiga, Fahmi Khalifa, Md Mahmudur Rahman

机构 * Computer Science Department, Morgan State University（莫尔甘州大学计算机科学系） ； International Organization for Migration (IOM)（国际移民组织） ； Electrical & Computer Engineering Department, Morgan State University（莫尔甘州大学电气与计算机工程系） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出双流水线参数高效微调模型，结合Florence-2和LoRA Stable Diffusion，分别解决临床视觉问答和隐私保护合成数据生成问题，在Kvasir-VQA数据集上取得高ROUGE和BLEU分数，并显著降低计算成本。

VIHD: Visual Intervention-based Hallucination Detection for Medical Visual Question Answering

VIHD: 基于视觉干预的医学视觉问答幻觉检测

Jiayi Chen, Benteng Ma, Zehui Liao, Winston Chong, Yasmeen George, Jianfei Cai

机构 * Department of Data Science \& AI, Faculty of Information Technology, Monash University, Melbourne, VIC 3800, Australia Alfred Health Radiology, Alfred Health, Melbourne, VIC 3004, Australia School of Translational Medicine, Faculty of Medicine, Nursing ； Health Sciences, Monash University, Melbourne, VIC 3800, Australia Hong Kong Polytechnic University, Hong Kong SAR, China 纠错

专题命中 视觉问答 ：visual question answering(title)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 提出VIHD方法，通过视觉依赖探测和视觉干预解码校准语义熵，有效检测医学多模态大语言模型中的幻觉响应。

Comments Early accepted by MICCAI 2026. This version of the contribution has been accepted for publication, after peer review (when applicable) but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections

Measuring Epistemic Humility in Multimodal Large Language Models

测量多模态大语言模型中的认知谦逊

Bingkui Tong, Jiaer Xia, Sifeng Shang, Kaiyang Zhou

机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） ； Hong Kong Baptist University（香港 Baptist大学） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 提出HumbleBench基准，通过强制选择多项选择中引入“以上皆非”选项，评估多模态大语言模型拒绝错误选项的谦逊行为。

CArtBench: Evaluating Vision-Language Models on Chinese Art Understanding, Interpretation, and Authenticity

CArtBench: 评估视觉语言模型在中国艺术理解、解读与真实性方面的能力

Xuefeng Wei, Zhixuan Wang, Xuan Zhou, Zhi Qu, Hongyao Li, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技術大學） ； Liaoning Normal University（遼寧師範大學） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract_cn)

AI总结 提出CARTBENCH基准，通过四个子任务评估视觉语言模型在中国艺术作品上的识别、推理、鉴赏和真伪鉴别能力，发现现有模型在复杂证据链接、风格断代和真伪诊断方面表现不足。

Comments under review

Towards Reliable Fetal Ultrasound Interpretation with Multi-Agent Collaboration

面向可靠胎儿超声解读的多智能体协作

Xiaotian Hu, Mingxuan Liu, Junwei Huang, Kasidit Anmahapong, Yifei Chen, Yiming Huang, Xuguang Bai, Zihan Li, Hongjia Yang, Yingqi Hao, Hong Xu, Yu Jiang, Tian Tian, Yi Liao, Haibo Qu, Qiyuan Tian

机构 * Tsinghua University（清华大学） ； University of California San Diego（加州大学圣地亚哥分校） ； West China Second University Hospital, Sichuan University（四川大学西昌医学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)

AI总结 提出FetUSAgents多智能体系统，通过协作LLM代理和双路径证据仲裁（DPEA）整合视觉工具与临床推理，在胎儿超声VQA、报告生成等任务上超越最强基线25%以上。

PEDESTRIANQA: A Benchmark for Vision-Language Models on Pedestrian Intention and Trajectory Prediction

PEDESTRIANQA: 面向行人意图与轨迹预测的视觉-语言模型基准

Naman Mishra, Shankar Gangisetty, C. V. Jawahar

机构 * CVIT, IIIT-Hyderabad, India（IIIT-海得拉巴计算机视觉与智能技术研究所，印度） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出大规模视频数据集PedestrianQA，将行人意图和轨迹预测转化为带结构化理由的问答任务，通过微调视觉-语言模型显著提升预测准确性与可解释性。

Look-Closer-Then-Diagnose: Confidence-Aware Ultrasound VQA via Active Zooming

Look-Closer-Then-Diagnose: 通过主动缩放实现置信度感知的超声VQA

Yue Zhou, Erxuan Wu, Yikang Sun, Hongjoo Lee, Yuan Bi, Huixiong Xu, Nassir Navab, Zhongliang Jiang

机构 * Computer Aided Medical Procedures (CAMP)（计算机辅助医疗程序） ； TU Munich, Germany（慕尼黑工业大学，德国） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Munich, Germany（慕尼黑，德国） ； Zhongshan Hospital, Fudan University, China（复旦大学中山医院） ； The University of Hong Kong, Hongkong, China（香港大学，香港，中国） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 提出一个模拟超声医师认知流程的框架，通过“缩放-诊断”范式和基于组相对策略优化的不确定性感知奖励，提升超声视觉问答中病灶定位和诊断性能。

MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence

MMSI-Bench：多图像空间智能基准

Sihan Yang, Runsen Xu, Yiman Xie, Sizhe Yang, Mo Li, Jingli Lin, Chenming Zhu, Xiaochen Chen, Haodong Duan, Xiangyu Yue, Dahua Lin, Tai Wang, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Shanghai Jiaotong University（上海交通大学） ； University of Hong Kong（香港大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出MMSI-Bench基准，通过1000道精心设计的VQA问题评估多图像空间推理能力，发现现有模型准确率远低于人类。

Comments ICLR 2026 Camera ready. 38 pages. Project page: https://runsenxu.com/projects/MMSI_Bench

Extending Embodied Question Answering from Perception to Decision

将具身问答从感知扩展到决策

Xicheng Gong, Qiwei Li, Peiran Xu, Yadong Mu

机构 * Peking University（北京大学） ； XYZ Embodied AI（XYZ具身AI） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)

AI总结 提出大规模具身问答数据集EQA-Decision和基线模型RoboDecision，系统覆盖静态场景构建、空间理解、任务动态推理和即时决策四个维度，以统一框架评估具身环境中的感知、推理和行动级决策。

Comments 11 pages,4 figures

StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering

StreamOV: 通过证据引导记忆与响应触发的流式全视频理解

Ming Xie, Zizheng Huang, Xudong Tan, Chao Wang, Xiangyu Zeng, Wenxiao Wu, Tao Chen, Limin Wang, Yanwei Fu

机构 * Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；分类 cs.CV

AI总结 提出StreamOV框架，利用多模态证据引导的长短期记忆和隐状态驱动的触发机制，实现流式全视频理解中的在线推理与主动响应，并在新基准SOVBench上取得最优性能。

AstroRAG -- A Pagerank-Based Retrieval-Augmented Generation Pipeline for Question Answering in Astronomy

AstroRAG -- 一种基于PageRank的检索增强生成管道用于天文学问答

Zhifeng Wang, Jason Jingshi Li, Kaihao Zhang, Ramesh Sankaranarayana

机构 * Australian National University（澳大利亚国立大学） ； Learning Machines Pty Ltd 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.CV

AI总结 提出AstroRAG，一种基于PageRank的检索增强生成管道，通过两阶段检索（MMR和PR重排序）在严格token预算下选择紧凑互支持的上下文，无需训练且保护隐私，在天文学QA基准上使Mistral-7B准确率和F1分数达到79.49%，性能近乎翻倍。

Comments Accepted to IEEE CAI 2026

EchoVQA: Enabling Conversational Assistance for Point-of-Care Cardiac Ultrasound

EchoVQA：为床旁心脏超声提供对话式辅助

Filippos Bellos, Yutong Li, Jessie N Dong, Zaiyang Guo, Emily Mackay, Yayuan Li, Yannis Avrithis, Alison Pouch, Jason J. Corso

机构 * University of Michigan（密歇根大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Independent Scientist（独立科学家） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 针对床旁心脏超声图像获取与解读依赖专业知识的问题，提出首个大规模超声心动图VQA数据集EchoVQA（含14,299张图像和74,819个问答对），并开发基于多模态可学习提示的参数高效方法，在多数基准上达到最优性能。