视觉大模型 / VLM

PixFoundation: Are We Heading in the Right Direction with Pixel-level Vision Foundation Models?

PixFoundation: 我们在像素级视觉基础模型的方向正确吗？

Mennatullah Siam

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 PixFoundation提出新的基准测试，揭示像素级基础模型在视觉问答中的不足，并提出可解释性工具分析接地机制。

Comments Under Review

AirSpatialBot: A Spatially-Aware Aerial Agent for Fine-Grained Vehicle Attribute Recognization and Retrieval

AirSpatialBot: 一种空间感知的空中智能体用于细粒度车辆属性识别与检索

Yue Zhou, Ran Ding, Xue Yang, Xue Jiang, Xingzhao Liu

机构 * Department of Electronic Engineering, Shanghai Jiao Tong University（电子工程系，上海交通大学） ； Department of Automation, Shanghai Jiao Tong University（自动化系，上海交通大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 AirSpatialBot通过空间感知的VLM和两阶段训练策略，实现细粒度车辆属性识别与检索，解决遥感图像中的空间理解难题。

Comments 12 pages, 9 figures

UniPercept: Towards Unified Perceptual-Level Image Understanding across Aesthetics, Quality, Structure, and Texture

UniPercept：迈向跨美学、质量、结构和纹理的统一感知级图像理解

Shuo Cao, Jiayang Li, Xiaohui Li, Yuandong Pu, Kaiwen Zhu, Yuanting Gao, Siqi Luo, Yi Xin, Qi Qin, Yu Zhou, Xiangyu Chen, Wenlong Zhang, Bin Fu, Yu Qiao, Yihao Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Sun Yat-sen University（中山大学） ； Tele-AI Website（Tele-AI网站） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 UniPercept通过领域自适应预训练和任务对齐强化学习，实现跨美学、质量、结构和纹理的统一感知级图像理解，优于现有多模态大语言模型。

Comments 27 pages, 14 figures, 17 tables

Scenes as Tokens: Multi-Scale Normal Distributions Transform Tokenizer for General 3D Vision-Language Understanding

场景作为标记：多尺度正常分布变换标记器用于通用3D视觉-语言理解

Yutao Tang, Cheng Zhao, Gaurav Mittal, Rohith Kukkala, Rama Chellappa, Cheng Peng, Mei Chen

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Microsoft（微软公司） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 NDTokenizer3D通过多尺度NDT表示和解码器实现通用3D视觉-语言理解，提升3D场景任务性能。

HinTel-AlignBench: A Framework and Benchmark for Hindi-Telugu with English-Aligned Samples

Rishikant Chigrupaatii, Ponnada Sai Tulasi Kanishka, Lalit Chandra Routhu, Martin Patel Sama Supratheek Reddy, Divyam Gupta, Dasari Srikar, Krishna Teja Kuchimanchi, Rajiv Misra, Rohun Tripathi

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.LG

Hulu-Med: A Transparent Generalist Model towards Holistic Medical Vision-Language Understanding

Songtao Jiang, Yuan Wang, Sibo Song, Tianxiang Hu, Chenyi Zhou, Bin Pu, Yan Zhang, Zhibo Yang, Yang Feng, Joey Tianyi Zhou, Jin Hao, Zijian Chen, Ruijia Wu, Tao Tang, Junhui Lv, Hongxia Xu, Hongwei Wang, Jun Xiao, Bin Feng, Fudong Zhu, Kenli Li, Weidi Xie, Jimeng Sun, Jian Wu, Zuozhu Liu

机构 * College of Computer Science and Technology, Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学计算机科学与技术学院） ； Stomatology Hospital, School of Stomatology, Zhejiang University School of Medicine（浙江大学口腔医院） ； Alibaba Inc（阿里巴巴集团） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Angelalign Technology Inc.（Angelalign技术有限公司） ； CFAR & IHPC, Agency for Science, Technology and Research（CFAR与IHPC，新加坡科技研究局） ； Department of Orthodontics, Shanghai Ninth People’s Hospital, College of Stomatology, Shanghai Jiao Tong University（上海第九人民医院正畸科，上海交通大学口腔医学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV

Jarvis: Towards Personalized AI Assistant via Personal KV-Cache Retrieval

Binxiao Xu, Junyu Feng, Shaolin Lu, Yulin Luo, Shilin Yan, Hao Liang, Ming Lu, Wentao Zhang

机构 * Peking University（北京大学） ； Xi’an Jiaotong University（西安交通大学） ； Alibaba Group（阿里巴巴集团） ； Intel Labs China（英特尔中国实验室） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.AI

Comments 19 pages, 7 figures

SpineBench: Benchmarking Multimodal LLMs for Spinal Pathology Analysis

Chenghanyu Zhang, Zekun Li, Peipei Li, Xing Cui, Shuhan Xia, Weixiang Yan, Yiqiao Zhang, Qianyu Zhuang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Peking Union Medical College Hospital（北京佑安医学大学医院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments Proceedings of the 33rd ACM International Conference on Multimedia,ACMMM 2025 Dataset Track

VaseVQA-3D: Benchmarking 3D VLMs on Ancient Greek Pottery

Nonghai Zhang, Zeyu Zhang, Jiazi Wang, Yang Zhao, Hao Tang

机构 * Peking University（北京大学） ； Beijing Jiaotong University（北京交通大学） ； La Trobe University（拉特罗布大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

More Than Meets the Eye? Uncovering the Reasoning-Planning Disconnect in Training Vision-Language Driving Models

Xurui Song, Shuo Huai, JingJing Jiang, Jiayi Kong, Jun Luo

机构 * S-Lab, Nanyang Technological University, Singapore（南洋理工大学S实验室） ； College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.AI

Comments The dataset will be released publicly once the paper is accepted for publication

EVLF-FM: Explainable Vision Language Foundation Model for Medicine

Yang Bai, Haoran Cheng, Yang Zhou, Jun Zhou, Arun Thirunavukarasu, Yuhe Ke, Jie Yao, Kanae Fukutsu, Chrystie Wan Ning Quek, Ashley Hong, Laura Gutierrez, Zhen Ling Teo, Darren Shu Jeng Ting, Brian T. Soetikno, Christopher S. Nielsen, Tobias Elze, Zengxiang Li, Linh Le Dinh, Hiok Hong Chan, Victor Koh, Marcus Tan, Kelvin Z. Li, Leonard Yip, Ching Yu Cheng, Yih Chung Tham, Gavin Siew Wei Tan, Leopold Schmetterer, Marcus Ang, Rahat Hussain, Jod Mehta, Tin Aung, Lionel Tim-Ee Cheng, Tran Nguyen Tuan Anh, Chee Leong Cheng, Tien Yin Wong, Nan Liu, Iain Beehuat Tan, Soon Thye Lim, Eyal Klang, Tony Kiat Hon Lim, Rick Siow Mong Goh, Yong Liu, Daniel Shu Wei Ting

专题命中 视觉问答 ：VLM(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV

Visual CoT Makes VLMs Smarter but More Fragile

Chunxue Xu, Yiwei Wang, Yujun Cai, Bryan Hooi, Songze Li

机构 * Southeast University, China（东南大学） ； University of California, Merced, USA（加州大学梅德福分校） ； The University of Queensland, Australia（昆士兰大学） ； National University of Singapore, Singapore（新加坡国立大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.LG

Eye Gaze Tells You Where to Compute: Gaze-Driven Efficient VLMs

Qinyu Chen, Jiawen Qi

机构 * Leiden Institute of Advanced Computer Science (LIACS)（莱顿先进计算机科学研究所） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV

Comments 11 pages

MedM-VL: What Makes a Good Medical LVLM?

Yiming Shi, Shaoshuai Yang, Xun Zhu, Haoyu Wang, Xiangling Fu, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

SocialNav-SUB: Benchmarking VLMs for Scene Understanding in Social Robot Navigation

Michael J. Munje, Chen Tang, Shuijing Liu, Zichao Hu, Yifeng Zhu, Jiaxun Cui, Garrett Warnell, Joydeep Biswas, Peter Stone

机构 * Department of Computer Science, The University of Texas at Austin（德克萨斯大学计算机科学系） ； Army Research Laboratory（陆军研究实验室） ； Sony AI（索尼人工智能） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Conference on Robot Learning (CoRL) 2025 Project site: https://larg.github.io/socialnav-sub

BcQLM: Efficient Vision-Language Understanding with Distilled Q-Gated Cross-Modal Fusion

Sike Xiang, Shuang Chen, Amir Atapour-Abarghouei

机构 * Department of Computer Science, Durham University（计算机科学系，杜伦大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Measuring How (Not Just Whether) VLMs Build Common Ground

Saki Imai, Mert İnan, Anthony Sicilia, Malihe Alikhani

机构 * Northeastern University（东北大学） 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.AI

KRETA: A Benchmark for Korean Reading and Reasoning in Text-Rich VQA Attuned to Diverse Visual Contexts

Taebaek Hwang, Minseo Kim, Gisang Lee, Seonuk Kim, Hyunjun Eun

机构 * Waddle ； Seoul National University（首尔国立大学） ； Krafton ； UNIST（全南大学） ； SK Telecom（SK电信） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted to EMNLP 2025 (Main Conference)

WebMMU: A Benchmark for Multimodal Multilingual Website Understanding and Code Generation

Rabiul Awal, Mahsa Massoud, Aarash Feizi, Zichao Li, Suyuchen Wang, Christopher Pal, Aishwarya Agrawal, David Vazquez, Siva Reddy, Juan A. Rodriguez, Perouz Taslakian, Spandana Gella, Sai Rajeswar

机构 * ServiceNow ； Mila ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； École de Technologie Supérieure (ETS)（高等技术学院） ； Polytechnique Montréal（蒙特利尔理工学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments This paper has been accepted to the EMNLP 2025 main conference. Check the project page here: https://webmmu-paper.github.io/

DeltaVLM: Interactive Remote Sensing Image Change Analysis via Instruction-guided Difference Perception

Pei Deng, Wenqian Zhou, Hanlin Wu

机构 * School of Information Science and Technology, Beijing Foreign Studies University（信息科学与技术学院，北京外国语大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments 12 pages, 5 figures. Submitted to IEEE Transactions on Geoscience and Remote Sensing (TGRS). Code and dataset are available at https://github.com/hanlinwu/DeltaVLM

SafeDriveRAG: Towards Safe Autonomous Driving with Knowledge Graph-based Retrieval-Augmented Generation

Hao Ye, Mengshi Qi, Zhaohong Liu, Liang Liu, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（网络与交换技术国家重点实验室，北京邮电大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.AI

CAPO: Reinforcing Consistent Reasoning in Medical Decision-Making

Songtao Jiang, Yuan Wang, Ruizhe Chen, Yan Zhang, Ruilin Luo, Bohan Lei, Sibo Song, Yang Feng, Jimeng Sun, Jian Wu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Alibaba Group（阿里巴巴集团） ； Angelalign Inc.（Angelalign公司） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV

Human-centered Interactive Learning via MLLMs for Text-to-Image Person Re-identification

Yang Qin, Chao Chen, Zhihang Fu, Dezhong Peng, Xi Peng, Peng Hu

机构 * College of Computer Science, Sichuan University（四川大学计算机学院） ； National Key Laboratory of Fundamental Algorithms and Models for Engineering Simulation, Sichuan University（四川大学国家工程仿真基础算法与模型重点实验室） ； Sichuan National Innovation New Vision UHD Video Technology Co., Ltd（四川国家创新新视觉超高清视频技术有限公司） ； Tianfu Jincheng Laboratory（天府锦城实验室） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.LG

Worse than Random? An Embarrassingly Simple Probing Evaluation of Large Multimodal Models in Medical VQA

Qianqi Yan, Xuehai He, Xiang Yue, Xin Eric Wang

机构 * University of California, Santa Cruz（加州大学圣克ruz分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.AI

Hallucination at a Glance: Controlled Visual Edits and Fine-Grained Multimodal Learning

Tianyi Bai, Yuxuan Fan, Jiantao Qiu, Fupeng Sun, Jiayi Song, Junlin Han, Zichen Liu, Conghui He, Wentao Zhang, Binhang Yuan

机构 * HKUST（香港科技大学） ； Shanghai AI Lab（上海人工智能实验室） ； Peking University（北京大学） ； HKUST(GZ)（香港科技大学（广州）） ； Oxford University（牛津大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

TextVidBench: A Benchmark for Long Video Scene Text Understanding

Yangyang Zhong, Ji Qi, Yuan Yao, Pengxin Luo, Yunfeng Yan, Donglian Qi, Zhiyuan Liu, Tat-Seng Chua

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

Optimus: Accelerating Large-Scale Multi-Modal LLM Training by Bubble Exploitation

Weiqi Feng, Yangrui Chen, Shaoyu Wang, Yanghua Peng, Haibin Lin, Minlan Yu

机构 * Harvard University（哈佛大学） ； Bytedance（字节跳动） ； University of Southern California（南加州大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

A Vision Centric Remote Sensing Benchmark

Abduljaleel Adejumo, Faegheh Yeganli, Clifford Broni-bediako, Aoran Xiao, Naoto Yokoya, Mennatullah Siam

机构 * AMMI/AIMS Senegal（AMMI/AIMS塞内加尔） ； University of British Columbia（不列颠哥伦比亚大学） ； RIKEN AIP（理化学研究所AIP） ； the University of Tokyo（东京大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments Eval-FoMo2 Workshop in CVPR 2025

Pixel-SAIL: Single Transformer For Pixel-Grounded Understanding

Tao Zhang, Xiangtai Li, Zilong Huang, Yanwei Li, Weixian Lei, Xueqing Deng, Shihao Chen, Shunping Ji, Jiashi Feng

专题命中 视觉问答 ：vision-language model(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AstroLLaVA: towards the unification of astronomical data and natural language

Sharaf Zaman, Michael J. Smith, Pranav Khetarpal, Rishabh Chakrabarty, Michele Ginolfi, Marc Huertas-Company, Maja Jabłońska, Sandor Kruk, Matthieu Le Lain, Sergio José Rodríguez Méndez, Dimitrios Tanoglidis

专题命中 视觉问答 ：vision language model(abstract)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.LG

Comments 8 pages, 3 figures, accepted to SCI-FM@ICLR 2025. Code at https://w3id.org/UniverseTBD/AstroLLaVA