视觉大模型 / VLM

M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG

M4-RAG：大规模多语言多文化多模态检索增强生成

David Anugraha, Patrick Amadeus Irawan, Anshul Singh, En-Shiun Annie Lee, Genta Indra Winata

机构 * Stanford University（斯坦福大学） ； MBZUAI ； Indian Institute of Science（印度科学研究院） ； Ontario Tech University（安大略技术大学） ； University of Toronto（多伦多大学） ； Capital One 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 M4-RAG提出一个覆盖42种语言、56种方言和189个国家的多模态大规模基准，通过构建8万多个文化多样化的图像-问题对，评估跨语言和模态的检索增强视觉问答性能，揭示模型大小与检索效果的不匹配问题。

Comments Accepted to CVPR 2026

TempCore: Are Video QA Benchmarks Temporally Grounded? A Frame Selection Sensitivity Analysis and Benchmark

TempCore：视频问答基准测试是否具有时间感知性？一个帧选择敏感性分析与基准测试

Hyunjong Ok, Jaeho Lee

机构 * POSTECH（POSTECH大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本文通过帧选择敏感性分析揭示视频问答基准测试中多数样本对帧选择不敏感，仅少数样本具有时间敏感性，提出TempCore用于评估时间敏感样本。

Comments preprint

AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions

AQuA：迈向具有模糊性视觉问题的策略性响应生成

Jihyoung Jang, Hyounghun Kim

机构 * Graduate School of Artificial Intelligence, POSTECH（人工智能研究生院，POSTECH） ； Department of Computer Science and Engineering, POSTECH（计算机科学与工程系，POSTECH） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 AQuA通过细粒度数据集和策略微调，提升VLMs在模糊视觉问答中的策略性响应生成能力。

Comments ICLR 2026 (28 pages); Project website: https://aqua-iclr2026.github.io/

EgoNight: Towards Egocentric Vision Understanding at Night with a Challenging Benchmark

EgoNight: 向夜间视角理解迈进的挑战性基准

Deheng Zhang, Yuqian Fu, Runyi Yang, Yang Miao, Tianwen Qian, Xu Zheng, Guolei Sun, Ajad Chhatkuli, Xuanjing Huang, Yu-Gang Jiang, Luc Van Gool, Danda Pani Paudel

机构 * East China Normal University（东华大学） ； HKUST(GZ)（香港科技大学（广州）） ； Nankai University（南开大学） ； Fudan University（复旦大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 EgoNight提出首个夜间视角视觉基准，通过日夜间对齐视频和人工验证构建VQA任务，揭示低光照条件下模型性能下降问题，并引入辅助任务推动模型泛化能力提升。

Comments Accepted by ICLR 2026

CT-Flow: Orchestrating CT Interpretation Workflow with Model Context Protocol Servers

CT-Flow: 通过模型上下文协议服务器协调CT解释工作流

Yannian Gu, Xizhuo Zhang, Linjie Mu, Yongrui Yu, Zhongzhen Huang, Shaoting Zhang, Xiaofan Zhang

机构 * Qing Yuan Research Institute, Shanghai Jiao Tong University, Shanghai, China（清元研究院，上海交通大学，上海，中国） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院，上海，中国） ； Sensetime Research, Shanghai, China（senseTime研究院，上海，中国） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 CT-Flow通过模型上下文协议实现3D CT解释工作流的动态协调，提升诊断准确性和工具调用效率。

Comments submitting to ACL 2026

Remote Sensing Retrieval-Augmented Generation: Bridging Remote Sensing Imagery and Comprehensive Knowledge with a Multi-Modal Dataset and Retrieval-Augmented Generation Model

遥感检索增强生成：通过多模态数据集和检索增强生成模型连接遥感图像与综合知识

Congcong Wen, Yiting Lin, Xiaokang Qu, Nan Li, Yong Liao, Xiang Li, Hui Lin

机构 * School of Cyber Science and Technology, University of Science and Technology of China（信息科学技术学院，中国科学技术大学） ； China Academy of Electronics and Information Technology（电子信息技术研究院） 纠错

专题命中 视觉问答 ：VLM(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RS-RAG框架，通过多模态数据集和检索增强生成模型，提升遥感图像与综合知识的连接能力，有效提升复杂查询的语义推理性能。

Comments Accepted by IEEE Geoscience and Remote Sensing Magazine (GRSM)

Leveraging Data to Say No: Memory Augmented Plug-and-Play Selective Prediction

利用数据说不：基于记忆的插拔式选择预测

Aditya Sarkar, Yi Li, Jiacheng Cheng, Shlok Mishra, Nuno Vasconcelos

机构 * University of Maryland, College Park（马里兰大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Qualcomm AI（高通人工智能） ； Yale University（耶鲁大学） ； Meta AI 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出基于记忆的插拔式选择预测方法，通过增强视觉语言嵌入来减少方差并改进分数校准，提升图像描述、匹配和细粒度分类性能。

Comments ICLR 2026

Pixel-Grounded Retrieval for Knowledgeable Large Multimodal Models

基于像素的检索用于知识型大型多模态模型

Jeonghwan Kim, Renjie Tao, Sanat Sharma, Jiaqi Wang, Kai Sun, Zhaojiang Lin, Seungwhan Moon, Lambert Mathias, Anuj Kumar, Heng Ji, Xin Luna Dong

机构 * Meta Reality Labs（Meta现实实验室） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 PixSearch是一种端到端的多模态模型，通过像素级检索和统一感知与推理，提升视觉问答任务中的事实一致性与泛化能力。

Comments Preprint

ViSIL: Unified Evaluation of Information Loss in Multimodal Video Captioning

ViSIL：多模态视频描述信息损失的统一评估

Po-han Li, Shenghui Chen, Ufuk Topcu, Sandeep Chinchali

机构 * The University of Texas at Austin, Texas, USA（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 ViSIL通过信息论框架量化多模态视频摘要的信息损失，实现跨格式的统一评估，并在VQA任务中提升准确率7%。

UR-Bench: A Benchmark for Multi-Hop Reasoning over Ultra-High-Resolution Images

UR-Bench：面向超高清图像的多跳推理基准

Siqi Li, Xinyu Cai, Jianbiao Mei, Nianchen Deng, Pinlong Cai, Licheng Wen, Yufan Shen, Xuemeng Yang, Botian Shi, Yong Liu

机构 * Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 UR-Bench是一个针对超高清图像多跳推理的基准，通过引入代理框架和语义工具，评估大语言模型在极端视觉信息下的推理能力。

Comments 10 pages, 5 figures

Improving Video Question Answering through query-based frame selection

通过基于查询的帧选择改进视频问答

Himanshu Patil, Geo Jolly, Ramana Raja Buddala, Ganesh Ramakrishnan, Rohit Saluja

机构 * Indian Institute of Technology, Bombay（印度理工学院孟买分校） ； Indian Institute of Technology, Mandi（印度理工学院曼迪分校） 纠错

专题命中 视觉问答 ：visual language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.LG

AI总结 通过基于查询的帧选择方法提升视频问答的准确性，利用子模ularity互信息函数选择重要帧，实验表明在多动作视频任务中准确率提升达4%。

Current Agents Fail to Leverage World Model as Tool for Foresight

当前智能体无法利用世界模型作为前瞻性工具

Cheng Qian, Emre Can Acikgoz, Bingxuan Li, Xiusi Chen, Yuji Zhang, Bingxiang He, Qinyu Luo, Dilek Hakkani-Tür, Gokhan Tur, Yunzhu Li, Heng Ji

机构 * UIUC（伊利诺伊大学香槟分校） ； THU（清华大学） ； JHU（约翰霍普金斯大学） ； Columbia（哥伦比亚大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了当前智能体能否利用世界模型作为工具提升前瞻性认知，发现其在模拟调用和结果整合方面存在显著不足。

Comments 36 Pages, 13 Figures, 17 Tables (Meta data updated)

Taming Hallucinations: Boosting MLLMs' Video Understanding via Counterfactual Video Generation

驯服幻觉：通过反事实视频生成提升MLLMs的视频理解

Zhe Huang, Hao Wen, Aiming Hao, Bingze Song, Meiqi Wu, Jiahong Wu, Xiangxiang Chu, Sheng Lu, Haoqian Wang

机构 * Tsinghua University（清华大学） ； Beihang University（北航） ； AMAP, Alibaba Group（阿里妈妈实验室，阿里巴巴集团） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 通过反事实视频生成和对比训练，提升MLLMs对视频的理解能力并减少幻觉。

Comments 18 pages

O3SLM: Open Weight, Open Data, and Open Vocabulary Sketch-Language Model

O3SLM：开放权重、开放数据和开放词汇草图-语言模型

Rishi Gupta, Mukilan Karuppasamy, Shyam Marjit, Aditay Tripathi, Anirban Chakraborty

机构 * IISc（印度理工学院） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

AI总结 O3SLM通过构建大规模图像-草图-指令三元组数据集和训练模型，实现了对草图理解和推理的突破性进展。

Comments Accepted to AAAI 2026

A Benchmark for Ultra-High-Resolution Remote Sensing MLLMs

超高分辨率遥感多模态大语言模型基准

Yunkai Dang, Meiyi Zhu, Donghao Wang, Yizhuo Zhang, Jiacheng Yang, Qi Fan, Yuekun Yang, Wenbin Li, Feng Miao, Yang Gao

机构 * School of Artificial Intelligence Science and Technology, Nanjing University（人工智能科学与技术学院，南京大学） ； School of Physics, Nanjing University（物理学院，南京大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RSHR-Bench，一个超高分辨率遥感多模态大语言模型基准，通过高分辨率图像和多样化任务评估视觉理解与推理能力。

ARIAL: An Agentic Framework for Document VQA with Precise Answer Localization

ARIAL：一个用于文档视觉问答的代理框架，具有精确答案定位

Ahmad Mohammadshirazi, Pinaki Prasad Guha Neogi, Dheeraj Kulshrestha, Rajiv Ramnath

机构 * Ohio State University（俄亥俄州立大学） ； Flairsoft（Flairsoft公司） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 ARIAL通过代理协调专门工具，实现文档VQA的高精度和可解释性，取得最佳性能和可解释性成果。

ENACT: Evaluating Embodied Cognition with World Modeling of Egocentric Interaction

ENACT：通过视角交互的世界建模评估具身认知

Qineng Wang, Wenlong Huang, Yu Zhou, Hang Yin, Tianwei Bao, Jianwen Lyu, Weiyu Liu, Ruohan Zhang, Jiajun Wu, Li Fei-Fei, Manling Li

机构 * Northwestern University（西北大学） ； Stanford University（斯坦福大学） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 ENACT通过视角交互的世界建模评估具身认知，揭示VLMs在长周期交互中与人类表现差距扩大，且模型在逆向任务中表现更优。

Comments Preprint version

Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering

剪枝后再规划：用于具身问答中稳定前沿探索的分步校准

Noah Frahm, Prakrut Patel, Yue Zhang, Shoubin Yu, Mohit Bansal, Roni Sengupta

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 Prune-Then-Plan通过分步校准稳定具身问答中的前沿探索，提升导航效率和回答质量。

Comments webpage: https://noahfrahm.github.io/Prune-Then-Plan-project-page/

PhyBlock: A Progressive Benchmark for Physical Understanding and Planning via 3D Block Assembly

PhyBlock：通过3D积木组装实现物理理解和规划的渐进性基准

Liang Ma, Jiajun Wen, Min Lin, Rongtao Xu, Xiwen Liang, Bingqian Lin, Jun Ma, Yongxin Wang, Ziming Wei, Haokun Lin, Mingfei Han, Meng Cao, Bokui Chen, Ivan Laptev, Xiaodan Liang

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院） ； Shenzhen Campus of Sun Yat-sen University（孙中山大学深圳校区） ； Spatialtemporal AI（时空人工智能） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 PhyBlock通过3D积木组装任务评估VLMs在物理理解和规划能力，揭示其在复杂任务中的局限性。

Med-GLIP: Advancing Medical Language-Image Pre-training with Large-scale Grounded Dataset

Ziye Deng, Ruihan He, Jiaxiang Liu, Yuan Wang, Zijie Meng, Songtao Jiang, Yong Xie, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Guangdong Institute of Intelligence Science（广东智能科学研究院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

iFlyBot-VLA Technical Report

Yuan Zhang, Chenyu Xue, Wenjie Xu, Chao Ji, Jiajia wu, Jia Pan

机构 * iFlyTek Reasearch and Development Group（iFlyTek 研发部） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

When to Trust the Answer: Question-Aligned Semantic Nearest Neighbor Entropy for Safer Surgical VQA

Dennis Pierantozzi, Luca Carlini, Mauro Orazio Drago, Chiara Lena, Cesare Hassan, Elena De Momi, Danail Stoyanov, Sophia Bano, Mobarak I. Hoque

机构 * IRCCS Humanitas Research Hospital（Humanitas研究医院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Robust Driving QA through Metadata-Grounded Context and Task-Specific Prompts

Seungjun Yu, Junsung Park, Youngsun Lim, Hyunjung Shim

专题命中 视觉问答 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Knowledge-based Visual Question Answer with Multimodal Processing, Retrieval and Filtering

Yuyang Hong, Jiaqi Gu, Qi Yang, Lubin Fan, Yue Wu, Ying Wang, Kun Ding, Shiming Xiang, Jieping Ye

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Alibaba Cloud Computing（阿里巴巴云计算） 纠错

专题命中 视觉问答 ：visual language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Comments Accepted by NeurIPS 2025

Neglected Risks: The Disturbing Reality of Children's Images in Datasets and the Urgent Call for Accountability

Carlos Caetano, Gabriel O. dos Santos, Caio Petrucci, Artur Barros, Camila Laranjeira, Leo S. F. Ribeiro, Júlia F. de Mendonça, Jefersson A. dos Santos, Sandra Avila

机构 * School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

Comments ACM Conference on Fairness, Accountability, and Transparency (FAccT 2025)

SCRAMBLe : Enhancing Multimodal LLM Compositionality with Synthetic Preference Data

Samarth Mishra, Kate Saenko, Venkatesh Saligrama

机构 * Boston University（波士顿大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025 Findings

GraphEQA: Using 3D Semantic Scene Graphs for Real-time Embodied Question Answering

Saumya Saxena, Blake Buchanan, Chris Paxton, Peiqi Liu, Bingqing Chen, Narunas Vaskevicius, Luigi Palmieri, Jonathan Francis, Oliver Kroemer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Neya Systems（Neya系统） ； Agility Robotics（敏捷机器人） ； Hello Robot ； Bosch Center for AI（博世人工智能中心） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

Comments Project website: https://saumyasaxena.github.io/grapheqa

Both Text and Images Leaked! A Systematic Analysis of Data Contamination in Multimodal LLM

Dingjie Song, Sicheng Lai, Mingxuan Wang, Shunian Chen, Lichao Sun, Benyou Wang

机构 * Lehigh University（莱维大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted to EMNLP 2025 Findings

RegionMed-CLIP: A Region-Aware Multimodal Contrastive Learning Pre-trained Model for Medical Image Understanding

Tianchen Fang, Guiru Liu

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Comments Upon further review, we identified that our dataset requires optimization to ensure research reliability and accuracy. Additionally, considering the target journal's latest submission policies, we believe comprehensive manuscript revisions are necessary

SurgWound-Bench: A Benchmark for Surgical Wound Diagnosis

Jiahao Xu, Changchang Yin, Odysseas Chatzipanagiotou, Diamantis Tsilimigras, Kevin Clear, Bingsheng Yao, Dakuo Wang, Timothy Pawlik, Ping Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； The Ohio State University Wexner Medical Center（俄亥俄州立大学韦克斯纳医学中心） ； Northeastern University（东北大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI