视觉大模型 / VLM

Can Multimodal Large Language Models Understand Spatial Relations?

Jingping Liu, Ziyan Liu, Zhedong Cen, Yan Zhou, Yinan Zou, Weiyan Zhang, Haiyun Jiang, Tong Ruan

机构 * School of Information Science and Engineering, East China University of Science and Technology, Shanghai, China（信息科学与工程学院，东华大学，上海，中国） ； School of Computer Science, Fudan University, Shanghai, China（计算机科学学院，复旦大学，上海，中国） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments 13 pages, 7 figures, published to ACL 2025

Journal ref In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 620-632, 2025, Vienna, Austria

Oedipus and the Sphinx: Benchmarking and Improving Visual Language Models for Complex Graphic Reasoning

Jianyi Zhang, Xu Ji, Ziyin Zhou, Yuchen Zhou, Shubo Shi, Haoyu Wu, Zhen Li, Shizhao Liu

机构 * Beijing Electronic Science & Technology Institute（北京电子科学技术研究所） 纠错

专题命中 视觉推理 ：visual language model(title,abstract)；VLM(abstract)；分类 cs.AI

VLMPlanner: Integrating Visual Language Models with Motion Planning

Zhipeng Tang, Sha Zhang, Jiajun Deng, Chenjie Wang, Guoliang You, Yuting Huang, Xinrui Lin, Yanyong Zhang

机构 * University of Science and Technology of China（科学技术大学） ； University of Adelaide（阿德莱德大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 视觉推理 ：visual language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.AI

Comments 8 pages, 3 figures, this paper has been accepted by ACM MM 2025

Efficient Physics Simulation for 3D Scenes via MLLM-Guided Gaussian Splatting

Haoyu Zhao, Hao Wang, Xingyue Zhao, Hao Fei, Hongqiu Wang, Chengjiang Long, Hua Zou

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology（华中科技大学光电研究院） ； Meta Reality Lab（Meta现实实验室） ； Xi’an Jiao Tong University（西安交通大学） ； National University of Singapore（新加坡国立大学） ； The Department of Systems Hub, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学系统枢纽部门（广州）） 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；visual reasoning(abstract)；分类 cs.CV

Comments ICCV 2025

Filter-And-Refine: A MLLM Based Cascade System for Industrial-Scale Video Content Moderation

Zixuan Wang, Jinghao Shi, Hanzhong Liang, Xiang Shen, Vera Wen, Zhiqian Chen, Yifan Wu, Zhixin Zhang, Hongyu Xiong

机构 * TikTok（字节跳动） 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.LG

Comments Camera Ready for ACL 2025

Tactical Decision for Multi-UGV Confrontation with a Vision-Language Model-Based Commander

Li Wang, Qizhen Wu, Lei Chen

机构 * Yangtze Delta Region Academy（扬子江地区学院） ； Beijing Institute of Technology（北京理工大学） ； School of Automation（自动化学院） ； Beihang University（北航大学） ； Advanced Research Institute of Multidisciplinary Sciences（多学科科学高级研究机构） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；vision language model(abstract)；分类 cs.AI

Corvid: Improving Multimodal Large Language Models Towards Chain-of-Thought Reasoning

Jingjing Jiang, Chao Ma, Xurui Song, Hanwang Zhang, Jun Luo

机构 * Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments ICCV 2025

Casper: Inferring Diverse Intents for Assistive Teleoperation with Vision Language Models

Huihan Liu, Rutav Shah, Shuijing Liu, Jack Pittenger, Mingyo Seo, Yuchen Cui, Yonatan Bisk, Roberto Martín-Martín, Yuke Zhu

专题命中 视觉推理 ：vision language model(title)；VLM(abstract)；visual language model(abstract)；分类 cs.AI

PAVLM: Advancing Point Cloud based Affordance Understanding Via Vision-Language Model

Shang-Ching Liu, Van Nhiem Tran, Wenkai Chen, Wei-Lun Cheng, Yen-Lin Huang, I-Bin Liao, Yung-Hui Li, Jianwei Zhang

机构 * Technical Aspects of Multimodal Systems (TAMS), Department of Informatics, University of Hamburg（汉堡大学信息学院多模态系统技术部门） ； Hon Hai Research Institute (HHRI)（鸿海研究机构） ； Department of Electrical Engineering, National Taiwan University（台湾大学电子工程系） ； Department of Computer Science and Technology, National Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；visual language model(abstract)；分类 cs.CV

GaussianVLM: Scene-centric 3D Vision-Language Models using Language-aligned Gaussian Splats for Embodied Reasoning and Beyond

Anna-Maria Halacheva, Jan-Nico Zaech, Xi Wang, Danda Pani Paudel, Luc Van Gool

机构 * ETH Zurich（苏黎世联邦理工学院） ； TU Munich（慕尼黑技术大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

GeoProg3D: Compositional Visual Reasoning for City-Scale 3D Language Fields

Shunsuke Yasuki, Taiki Miyanishi, Nakamasa Inoue, Shuhei Kurita, Koya Sakamoto, Daichi Azuma, Masato Taki, Yutaka Matsuo

机构 * Rikkyo University（立命馆大学） ； University of Tokyo（东京大学） ； ATR（ATR研究所） ； Institute of Science Tokyo（东京科学研究院） ； National Institute of Informatics（国家信息研究所） ； NII LLMC（日本信息处理学会LLMC） ； Sony Semiconductor Solutions（索尼半导体解决方案） 纠错

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

Comments Accepted by ICCV 2025

Mixed-R1: Unified Reward Perspective For Reasoning Capability in Multimodal Large Language Models

Shilin Xu, Yanwei Li, Rui Yang, Tao Zhang, Yueyi Sun, Wei Chow, Linfeng Li, Hang Song, Qi Xu, Yunhai Tong, Xiangtai Li, Hao Fei

机构 * ByteDance（字节跳动） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title)；grounding(abstract)；MLLM(abstract)；分类 cs.CV

RARL: Improving Medical VLM Reasoning and Generalization with Reinforcement Learning and LoRA under Data and Hardware Constraints

Tan-Hanh Pham, Chris Ngo

机构 * Harvard Medical School（哈佛医学院） ； Knovel Engineering Lab（Knovel工程实验室） 纠错

专题命中 视觉推理 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

Comments Under review

MindOmni: Unleashing Reasoning Generation in Vision Language Models with RGPO

Yicheng Xiao, Lin Song, Yukang Chen, Yingmin Luo, Yuxin Chen, Yukang Gan, Wei Huang, Xiu Li, Xiaojuan Qi, Ying Shan

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； ARC Lab, Tencent PCG（腾讯PCG ARC实验室） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 视觉推理 ：vision language model(title,abstract)；multimodal large language model(abstract)；分类 cs.AI

Comments Code: https://github.com/TencentARC/MindOmni

VReST: Enhancing Reasoning in Large Vision-Language Models through Tree Search and Self-Reward Mechanism

Congzhi Zhang, Jiawei Peng, Zhenglin Wang, Yilong Lai, Haowen Sun, Heng Chang, Fei Ma, Weijiang Yu

机构 * School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy（广东省人工智能与数字经济实验室） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV

Comments Accepted by ACL 2025 main

Multi-Step Visual Reasoning with Visual Tokens Scaling and Verification

Tianyi Bai, Zengjie Hu, Fupeng Sun, Jiantao Qiu, Yizhen Jiang, Guangxin He, Bohan Zeng, Conghui He, Binhang Yuan, Wentao Zhang

机构 * HKUST（香港科技大学） ； Peking University（北京大学） ； Shanghai AI Lab（上海人工智能实验室） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；分类 cs.CV

Reasoning Multimodal Large Language Model: Data Contamination and Dynamic Evaluation

Ming Liu, Wensheng Zhang

机构 * Department of Computer Science（计算机科学系） ； Iowa State University（爱荷华州立大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks

Mengzhao Jia, Wenhao Yu, Kaixin Ma, Tianqing Fang, Zhihan Zhang, Siru Ouyang, Hongming Zhang, Dong Yu, Meng Jiang

机构 * University of Notre Dame（诺丁汉大学） ； Tencent AI Seattle Lab（腾讯AI西雅图实验室） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 视觉推理 ：vision language model(title)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments Our code is available at https://github.com/tencent-ailab/Leopard

StimuVAR: Spatiotemporal Stimuli-aware Video Affective Reasoning with Multimodal Large Language Models

Yuxiang Guo, Faizan Siddiqui, Yang Zhao, Rama Chellappa, Shao-Yuan Lo

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Honda Research Institute USA（本田研究院美国） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments Paper is accepted by IJCV

Visual Embodied Brain: Let Multimodal Large Language Models See, Think, and Control in Spaces

Gen Luo, Ganlin Yang, Ziyang Gong, Guanzhou Chen, Haonan Duan, Erfei Cui, Ronglei Tong, Zhi Hou, Tianyi Zhang, Zhe Chen, Shenglong Ye, Lewei Lu, Jingbo Wang, Wenhai Wang, Jifeng Dai, Yu Qiao, Rongrong Ji, Xizhou Zhu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Xiamen University（厦门大学） ； SenseTime Research（商汤科技研究院） ； Zhejiang University（浙江大学） ； Nanjing University（南京大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

DrVD-Bench: Do Vision-Language Models Reason Like Human Doctors in Medical Image Diagnosis?

Tianhong Zhou, Yin Xu, Yingtao Zhu, Chuxi Xiao, Haiyang Bian, Lei Wei, Xuegong Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV

VisCRA: A Visual Chain Reasoning Attack for Jailbreaking Multimodal Large Language Models

Bingrui Sima, Linhua Cong, Wenxuan Wang, Kun He

机构 * Huazhong University of Science and Technology（华中科技大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV

SURDS: Benchmarking Spatial Understanding and Reasoning in Driving Scenarios with Vision Language Models

Xianda Guo, Ruijun Zhang, Yiqun Duan, Yuhang He, Dujun Nie, Wenke Huang, Chenming Zhang, Shuai Liu, Hao Zhao, Long Chen

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Waytous ； University of Technology Sydney（悉尼大学） ； Microsoft Research（微软研究院） ； IAIR, Xi’an Jiaotong University（西安交通大学IAIR） ； TikTok ； AIR, Tsinghua University（清华大学AIR） 纠错

专题命中 视觉推理 ：vision language model(title,abstract)；MLLM(abstract)；分类 cs.CV

MIND-Edit: MLLM Insight-Driven Editing via Language-Vision Projection

Shuyu Wang, Weiqi Li, Qian Wang, Shijie Zhao, Jian Zhang

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

ReGUIDE: Data Efficient GUI Grounding via Spatial Reasoning and Search

Hyunseok Lee, Jeonghoon Kim, Beomjun Kim, Jihoon Tack, Chansong Jo, Jaehong Lee, Cheonbok Park, Sookyo In, Jinwoo Shin, Kang Min Yoo

机构 * KAIST（韩国科学技术院） ； NAVER Cloud（NAVER云） 纠错

专题命中 视觉推理 ：grounding(title,abstract)；multimodal large language model(abstract)；分类 cs.LG

GODBench: A Benchmark for Multimodal Large Language Models in Video Comment Art

Yiming Lei, Chenkai Zhang, Zeming Liu, Haitao Leng, Shaoguo Liu, Tingting Gao, Qingjie Liu, Yunhong Wang

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

Comments 69 pages, 66 figures, accepted by ACL 2025

G1: Bootstrapping Perception and Reasoning Abilities of Vision-Language Model via Reinforcement Learning

Liang Chen, Hongcheng Gao, Tianyu Liu, Zhiqi Huang, Flood Sung, Xinyu Zhou, Yuxin Wu, Baobao Chang

机构 * Peking University（北京大学） ； UCAS（中国科学院大学） ； Moonshot AI 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

Comments 21 pages, 14 figures, code released at https://github.com/chenllliang/G1

FEALLM: Advancing Facial Emotion Analysis in Multimodal Large Language Models with Emotional Synergy and Reasoning

Zhuozhao Hu, Kaishen Yuan, Xin Liu, Zitong Yu, Yuan Zong, Jingang Shi, Huanjing Yue, Jingyu Yang

机构 * Tianjin University（天津大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Lappeenranta-Lahti University of Technology LUT（拉佩兰塔-拉赫蒂技术大学） ； Great Bay University（大湾大学） ； Southeast University（东南大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments 10 pages, 7 figures

Are Multimodal Large Language Models Ready for Omnidirectional Spatial Reasoning?

Zihao Dongfang, Xu Zheng, Ziqiao Weng, Yuanhuiyi Lyu, Danda Pani Paudel, Luc Van Gool, Kailun Yang, Xuming Hu

专题命中 视觉推理 ：multimodal large language model(title,abstract)；grounding(abstract)；分类 cs.CV

RVTBench: A Benchmark for Visual Reasoning Tasks

Yiqing Shen, Chenjia Li, Chenxiao Fan, Mathias Unberath

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；grounding(abstract)；分类 cs.CV