视觉大模型 / VLM

Visual Instruction Bottleneck Tuning

Changdae Oh, Jiatong Li, Shawn Im, Sharon Li

机构 * Department of Computer Sciences, University of Wisconsin–Madison（计算机科学系，威斯康星大学麦迪逊分校） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

Comments NeurIPS 2025

CoDefend: Cross-Modal Collaborative Defense via Diffusion Purification and Prompt Optimization

Fengling Zhu, Boshi Liu, Jingyu Hua, Sheng Zhong

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales

Zhaofang Qian, Hardy Chen, Zeyu Wang, Li Zhang, Zijun Wang, Xiaoke Huang, Hui Liu, Xianfeng Tang, Zeyu Zheng, Haoqin Tu, Cihang Xie, Yuyin Zhou

机构 * University of Central Florida（中央佛罗里达大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Columbia University（哥伦比亚大学） ； Amazon Research（亚马逊研究） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Mediator-Guided Multi-Agent Collaboration among Open-Source Models for Medical Decision-Making

Kaitao Chen, Mianxin Liu, Daoming Zong, Chaoyue Ding, Shaohao Rui, Yankai Jiang, Mu Zhou, Xiaosong Wang

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

Comments 14 pages, 4 figures

PhysToolBench: Benchmarking Physical Tool Understanding for MLLMs

Zixin Zhang, Kanghao Chen, Xingwang Lin, Lutao Jiang, Xu Zheng, Yuanhuiyi Lyu, Litao Guo, Yinchuan Li, Ying-Cong Chen

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； Beihang University（北航大学） ； Knowin 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation

Weihua Zheng, Zhengyuan Liu, Tanmoy Chakraborty, Weiwen Xu, Xiaoxue Gao, Bryan Chen Zhengyu Tan, Bowei Zou, Chang Liu, Yujia Hu, Xing Xie, Xiaoyuan Yi, Jing Yao, Chaojun Wang, Long Li, Rui Liu, Huiyao Liu, Koji Inoue, Ryuichi Sumida, Tatsuya Kawahara, Fan Xu, Lingyu Ye, Wei Tian, Dongjun Kim, Jimin Jung, Jaehyung Seo, Nadya Yuki Wangsajaya, Pham Minh Duc, Ojasva Saxena, Palash Nandi, Xiyan Tao, Wiwik Karlina, Tuan Luong, Keertana Arun Vasan, Roy Ka-Wei Lee, Nancy F. Chen

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Agency for Science, Technology and Research, Singapore（新加坡科技研究局） ； Indian Institute of Technology Delhi（印度理工学院德里分校） ； Alibaba DAMO Academy（阿里巴巴达摩院） ； Microsoft Research Asia（微软亚洲研究院） ； Shanghai University of Finance and Economics（上海财经大学） ； Inner Mongolia University（内蒙古大学） ； Kyoto University（京都大学） ； Jiangxi Normal University（江西师范大学） ； Korea University（韩国大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.AI

MoA-VR: A Mixture-of-Agents System Towards All-in-One Video Restoration

Lu Liu, Chunlei Cai, Shaocheng Shen, Jianfeng Liang, Weimin Ouyang, Tianxiao Ye, Jian Mao, Huiyu Duan, Jiangchao Yao, Xiaoyun Zhang, Qiang Hu, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Bilibili Inc.（哔哩哔哩公司） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Context Matters: Learning Global Semantics via Object-Centric Representation

Jike Zhong, Yuxiang Lai, Xiaofeng Yang, Konstantinos Psounis

机构 * University of Southern California（美国南加州大学） ； Emory University（埃默里大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；MLLM(abstract)；分类 cs.CV

SAR-TEXT: A Large-Scale SAR Image-Text Dataset Built with SAR-Narrator and A Progressive Learning Strategy for Downstream Tasks

Yiguo He, Xinjun Cheng, Junjie Zhu, Chunping Qiu, Jun Wang, Xichuan Zhang, Qiangjuan Huang, Ke Yang

机构 * Intelligent Game and Decision Lab（智能游戏与决策实验室） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments IEEE Submission

AutoDrive-QA: A Multiple-Choice Benchmark for Vision-Language Evaluation in Urban Autonomous Driving

Boshra Khalili, Andrew W. Smyth

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV

Comments Updated results with larger dataset experiments and expanded discussion

Ranked from Within: Ranking Large Multimodal Models Without Labels

Weijie Tu, Weijian Deng, Dylan Campbell, Yu Yao, Jiyang Zheng, Tom Gedeon, Tongliang Liu

机构 * Australian National University ； Sydney AI Centre, The University of Sydney ； Curtin University ； University of \'OBuda 纠错

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

Comments ICML 2025 Camera Ready

Interpret, prune and distill Donut : towards lightweight VLMs for VQA on document

Adnan Ben Mansour, Ayoub Karine, David Naccache

机构 * DIENS, École Normale Supérieure of Paris, Paris, France（巴黎高等师范学院DIENS） ； Université Paris Cité, LIPADE, F-75006 Paris, France（巴黎大学） ； Be-ys Research, Paris, France（Be-ys研究所） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted at Workshop on Machine Learning in Document Analysis and Recognition (ICDAR WML 2025), Wuhan, China

DescribeEarth: Describe Anything for Remote Sensing Images

Kaiyu Li, Zixuan Jiang, Xiangyong Cao, Jiayu Wang, Yuchen Xiao, Deyu Meng, Zhi Wang

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院） ； College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院） ； School of Computer Science and Technology and Ministry of Education Key Lab For Intelligent Networks and Network Security, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院和教育部智能网络与网络安全重点实验室） ； School of Mathematics and Statistics and Ministry of Education Key Lab of Intelligent Networks and Network Security, Xi’an Jiaotong University（西安交通大学数学与统计学院和教育部智能网络与网络安全重点实验室） ； Pazhou Laboratory (Huangpu), Guangzhou, Guangdong, China（琶洲实验室（黄埔），广州，广东，中国） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；MLLM(abstract)；分类 cs.CV

ReLoop: "Seeing Twice and Thinking Backwards" via Closed-loop Training to Mitigate Hallucinations in Multimodal understanding

Jianjiang Yang, Yanshu li, Ziyan Huang

机构 * University of Bristol（布里斯托大学） ； Brown University（布朗大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments Accepted by conference EMNLP2025

Falcon: A Cross-Modal Evaluation Dataset for Comprehensive Safety Perception

Qi Xue, Minrui Jiang, Runjia Zhang, Xiurui Xie, Pei Ke, Guisong Liu

机构 * Laboratory of Intelligent Collaborative Computing University of Electronic Science and Technology of China（智能协同计算实验室 电子科技大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI

Hanfu-Bench: A Multimodal Benchmark on Cross-Temporal Cultural Understanding and Transcreation

Li Zhou, Lutong Yu, Dongchu Xie, Shaohuan Cheng, Wenyan Li, Haizhou Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Chengdu Technological University（成都理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Cultural Analysis, Cultural Visual Understanding, Cultural Image Transcreation. Accepted by EMNLP 2025 (Oral)

MineAnyBuild: Benchmarking Spatial Planning for Open-world AI Agents

Ziming Wei, Bingqian Lin, Zijian Jiao, Yunshuang Nie, Liang Ma, Yuecheng Liu, Yuzheng Zhuang, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shanghai Jiao Tong University（上海交通大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

Comments Accepted by NeurIPS 2025 Datasets and Benchmarks Track

OmniScene: Attention-Augmented Multimodal 4D Scene Understanding for Autonomous Driving

Pei Liu, Hongliang Lu, Haichao Liu, Haipeng Liu, Xin Liu, Ruoyu Yao, Shengbo Eben Li, Jun Ma

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Li Auto Inc. ； the School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

A Simple Data Augmentation Strategy for Text-in-Image Scientific VQA

Belal Shoer, Yova Kementchedjhieva

机构 * MBZUAI（穆罕默德·本·拉希德智能研究院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted at WiNLP, 2025

Towards Better Dental AI: A Multimodal Benchmark and Instruction Dataset for Panoramic X-ray Analysis

Jing Hao, Yuxuan Fan, Yanpeng Sun, Kaixin Guo, Lizhuo Lin, Jinrong Yang, Qi Yong H. Ai, Lun M. Wong, Hao Tang, Kuo Feng Hung

机构 * Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院） ； The Hong Kong University of Science and Technology (GZ)（香港科学与技术大学） ； National University of Singapore（新加坡国立大学） ； CVTE ； Sun Yat-sen University（孙中山大学） ； Department of Diagnostic Radiology, The University of Hong Kong（香港大学放射科） ； Imaging and Interventional Radiology, Faculty of Medicine, The Chinese University of Hong Kong（香港中文大学医学院影像与介入放射科） ； School of Computer Science, Peking University（北京大学计算机科学系） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments 40 pages, 26 figures, 9 tables

Omnidirectional Spatial Modeling from Correlated Panoramas

Xinshen Zhang, Tongxi Fu, Xu Zheng

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Zhejiang Sci-Tech University（浙江科技学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；MLLM(abstract)；分类 cs.CV

Do VLMs Have Bad Eyes? Diagnosing Compositional Failures via Mechanistic Interpretability

Ashwath Vaithinathan Aravindan, Abha Jha, Mihir Kulkarni

机构 * University of Southern California（南加州大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments To be published in Explainable Computer Vision: Quo Vadis? workshop at ICCV'25

Architecting Clinical Collaboration: Multi-Agent Reasoning Systems for Multimodal Medical VQA

Karishma Thakrar, Shreyas Basavatia, Akshay Daftardar

机构 * Georgia Institute of Technology Atlanta, GA, USA（佐治亚理工学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI

Benchmarking GPT-5 for Zero-Shot Multimodal Medical Reasoning in Radiology and Radiation Oncology

Mingzhe Hu, Zach Eidex, Shansong Wang, Mojtaba Safari, Qiang Li, Xiaofeng Yang

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

Checkmate: interpretable and explainable RSVQA is the endgame

Lucrezia Tosato, Christel Tartini Chappuis, Syrielle Montariol, Flora Weissgerber, Sylvain Lobry, Devis Tuia

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

Chart-CoCa: Self-Improving Chart Understanding of Vision LMs via Code-Driven Synthesis and Candidate-Conditioned Answering

Gongyao Jiang, Qiong Luo

机构 * The Hong Kong University of Science 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract)；分类 cs.AI

Comments Accepted to CIKM 2025

Med-GRIM: Enhanced Zero-Shot Medical VQA using prompt-embedded Multimodal Graph RAG

Rakesh Raj Madavan, Akshat Kaimal, Hashim Faisal, Chandrakala S

机构 * Shiv Nadar University Chennai（施瓦斯纳大学钦奈） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

How Can Objects Help Video-Language Understanding?

Zitian Tang, Shijie Wang, Junho Cho, Jaewook Yoo, Chen Sun

机构 * Brown University（布朗大学） ； Samsung Electronics（三星电子） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

E-VRAG: Enhancing Long Video Understanding with Resource-Efficient Retrieval Augmented Generation

Zeyu Xu, Junkang Zhang, Qiang Wang, Yi Liu

机构 * Zeyu Xu（作者） ； Junkang Zhang（作者） ； Qiang Wang（作者） ； Yi Liu（作者） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Multi-TW: Benchmarking Multimodal Models on Traditional Chinese Question Answering in Taiwan

Jui-Ming Yao, Bing-Cheng Xie, Sheng-Wei Peng, Hao-Yuan Chen, He-Rong Zheng, Bing-Jia Tan, Peter Shaojui Wang, Shun-Feng Su

机构 * National Taiwan University of Science and Technology（台湾科技大学） ； University of London（伦敦大学） ； National Taiwan University（台湾大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.AI