视觉大模型 / VLM

Position: Multimodal Large Language Models Can Significantly Advance Scientific Reasoning

位置：多模态大语言模型可以显著推动科学推理

Yibo Yan, Shen Wang, Jiahao Huo, Jingheng Ye, Zhendong Chu, Xuming Hu, Philip S. Yu, Carla Gomes, Bart Selman, Qingsong Wen

机构 * Squirrel AI ； HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； Tsinghua University（清华大学） ； University of Illinois at Chicago（伊利诺伊大学香槟分校） ； Cornell University（康奈尔大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文探讨多模态大语言模型在科学推理中的应用，提出四阶段研究路线，指出当前模型在跨领域推理中的潜力与挑战，为实现通用人工智能提供新视角。

Comments Accepted by The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026, Findings)

ChatENV: An Interactive Vision-Language Model for Sensor-Guided Environmental Monitoring and Scenario Simulation

ChatENV: 一种用于传感器引导的环境监测和场景模拟的交互式视觉-语言模型

Hosam Elgendy, Ahmed Sharshar, Ahmed Aboeitta, Mohsen Guizani

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） 纠错

专题命中 视觉推理 ：vision-language model(title)；VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV

AI总结 ChatENV通过整合卫星图像与真实传感器数据，实现环境变化的时序推理与假设验证，提升了环境监测的交互性和准确性。

Comments 11 pages, 5 figures, 7 tables

Abstract 3D Perception for Spatial Intelligence in Vision-Language Models

抽象3D感知用于视觉-语言模型中的空间智能

Yifan Liu, Fangneng Zhan, Kaichen Zhou, Yilun Du, Paul Pu Liang, Hanspeter Pfister

机构 * Tsinghua University（清华大学） ； Harvard University（哈佛大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出SandboxVLM框架，通过抽象边界框编码几何结构和物理动力学，提升视觉-语言模型在3D任务中的空间智能，实验证明其在零样本设置下显著提升性能。

Does RLVR Extend Reasoning Boundaries? Investigating Capability Expansion in Vision-Language Models

RLVR能否扩展推理边界？探究视觉-语言模型中的能力扩展

Minghe Shen, Zhuo Zhi, Chonghan Liu, Shuo Xing, Zhengzhong Tu, Che Liu

机构 * University College London（伦敦大学学院） ； Samsung R&D Institute UK（三星英国研发院） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Texas A&M University（德克萨斯农工大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文通过Ariadne框架研究RLVR对视觉-语言模型空间推理能力的影响，证明其能扩展推理边界，并在真实导航任务中取得提升。

See it to Place it: Evolving Macro Placements with Vision-Language Models

看清它，放置它：利用视觉-语言模型进行宏放置

Ikechukwu Uchendu, Swati Goel, Karly Hou, Ebrahim Songhori, Kuang-Huei Lee, Joe Wenjie Jiang, Vijay Janapa Reddi, Vincent Zhuang

机构 * Harvard University（哈佛大学） ； Kempner Institute for the Study of Natural and Artificial Intelligence（肯普纳自然与人工智能研究所） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.LG

AI总结 本文提出利用视觉-语言模型进行芯片布局中的宏放置优化，通过进化搜索策略提升放置质量，在9/10基准上优于现有方法，且能泛化至分析型布局器。

Comments 31 pages, 12 figures, 14 tables

Hidden Meanings in Plain Sight: RebusBench for Evaluating Cognitive Visual Reasoning

显而易见的隐含意义：RebusBench用于评估认知视觉推理

Seyed Amir Kasaei, Arash Marioriyad, Mahbod Khaleti, MohammadAmin Fazli, Mahdieh Soleymani Baghshah, Mohammad Hossein Rohban

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；LLaVA(abstract)；InternVL(abstract)

AI总结 本文提出RebusBench基准，用于评估模型在需要多步推理的隐含意义理解能力，发现现有模型在认知连接方面存在缺陷。

Comments Accepted at ICLR 2026 Workshop: From Human Cognition to AI Reasoning (HCAIR)

ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval

ReCALL: 为基于MLLM的组合图像检索 recalibrate 能力退化

Tianyu Yang, Chenwei He, Xiangzhao Hao, Tianyue Wang, Jiarui Guo, Haiyun Guo, Leigang Qu, Jinqiao Wang, Tat-Seng Chua

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Southeast University（东南大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； National University of Singapore（新加坡国立大学） ； Wuhan AI Research（武汉人工智能研究院） ； Guangdong Provincial Key Laboratory of Intellectual Property and Big Data, Guangdong Polytechnic Normal University（广东技术师范大学广东省知识产权大数据重点实验室） 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 ReCALL通过诊断生成器盲点、生成修正指令和三元组、并持续训练来缓解基于生成式MLLM的检索能力退化问题，实验证明其在CIRR和FashionIQ上达到SOTA性能。

Comments Accepted to CVPR 2026

Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models

通过事件流学习在极端光照下视觉感知

Baoheng Zhang, Jiahui Liu, Gui Zhao, Weizhou Zhang, Yixuan Ma, Jun Jiang, Yingxian Chen, Wilton W. T. Fok, Xiaojuan Qi, Hayden Kwok-Hay So

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；visual reasoning(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出Event-MLLM，通过动态融合事件流与RGB帧进行全光视觉推理，引入光照指示器和光照校正损失，解决极端光照下多模态大语言模型的感知与推理问题。

Comments IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models

HandVQA: 评估视觉-语言模型中手部精细空间推理的诊断与改进

MD Khalequzzaman Chowdhury Sayem, Mubarrat Tajoar Chowdhury, Yihalem Yimolal Tiruneh, Muneeb A. Khan, Muhammad Salman Ali, Binod Bhattarai, Seungryul Baek

机构 * UNIST（蔚山科学技术院） ； University of Aberdeen（阿伯丁大学） ； University College London（伦敦大学学院） ； Fogsphere (Redev.AI Ltd), UK（Fogsphere (Redev.AI Ltd)，英国） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 HandVQA通过视觉问答评估VLM对手部解剖的精细空间理解，发现现有模型在手部关节空间关系推理上的系统性缺陷，并通过3D数据训练提升模型在手部姿态识别和手-物交互任务中的性能。

Comments Accepted in CVPR 2026; Project page, code, and dataset: https://kcsayem.github.io/handvqa/

VLM-CAD: VLM-Optimized Collaborative Agent Design Workflow for Analog Circuit Sizing

VLM-CAD：面向模拟电路尺寸设计的VLM优化协作代理设计流程

Guanyuan Pan, Shuai Wang, Yugui Lin, Tiansheng Zhou, Pietro Liò, Zhenxin Zhao, Yaqi Wang

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； SCBC, Guangdong University of Foreign Studies（广东外语外贸大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 视觉推理 ：VLM(title,abstract)；vision language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 本文提出VLM-CAD流程，通过神经符号结构解析模块和ExTuRBO方法提升多模态推理的鲁棒性和可解释性，实验表明其在模拟电路设计中具有高准确性和低功耗。

Comments submitted to the 34th ACM International Conference on Multimedia (ACMMM 2026)

TerraScope: Pixel-Grounded Visual Reasoning for Earth Observation

TerraScope：基于像素的视觉推理用于地球观测

Yan Shu, Bin Ren, Zhitong Xiong, Xiao Xiang Zhu, Begüm Demir, Nicu Sebe, Paolo Rota

机构 * University of Trento（特伦托大学） ； BIFOLD and TU Berlin（BIFOLD和柏林技术大学） ； Technical University of Munich（慕尼黑技术大学） ； MBZUAI 纠错

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 TerraScope通过模态灵活推理和多时序推理，提升地球观测中像素级空间推理能力，提出Terra-CoT数据集和TerraScope-Bench基准，验证其在像素级地理空间推理中的优越性。

Comments Accepted by CVPR20206 (Main Track)

Improving Visual Reasoning with Iterative Evidence Refinement

通过迭代证据细化提升视觉推理

Zeru Shi, Kai Mei, Yihao Quan, Dimitris N. Metaxas, Ruixiang Tang

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出SIEVE框架，利用模型内部信号直接支持图像 grounded 推理，通过强化学习指导视觉重访，提升多基准性能8%。

PatchCue: Enhancing Vision-Language Model Reasoning with Patch-Based Visual Cues

PatchCue: 通过基于补丁的视觉提示增强视觉语言模型推理

Yukun Qi, Pei Fu, Hang Li, Yuhan Liu, Chao Jiang, Bin Qin, Zhenbo Luo, Jian Luan

专题命中 视觉推理 ：vision-language model(title,abstract)；visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出PatchCue，一种基于补丁的视觉提示方法，通过两阶段训练提升VLMs的视觉推理能力，在多项任务中表现优于像素级和点级提示。

RegionReasoner: Region-Grounded Multi-Round Visual Reasoning

RegionReasoner: 基于区域的多轮视觉推理

Wenfang Sun, Hao Chen, Yingjun Du, Yefeng Zheng, Cees G. M. Snoek

机构 * University of Amsterdam（阿姆斯特丹大学） ； Anhui University（安徽大学） ； Westlake University（西湖大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 RegionReasoner通过强化学习框架，结合接地保真度和全局-局部语义对齐，提升多轮视觉推理的准确性和一致性。

Comments Accepted by ICLR 2026

On the Explainability of Vision-Language Models in Art History

关于视觉-语言模型在艺术史中的可解释性

Stefanie Schneider

机构 * Marburg University（马尔堡大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本文研究了XAI方法如何使CLIP在艺术史背景下可视化推理，通过零样本定位实验和人类可解释性研究，探讨了可解释性方法的有效性依赖于类别概念稳定性和表示可用性。

REVEALER: Reinforcement-Guided Visual Reasoning for Element-Level Text-Image Alignment Evaluation

REVEALER: 基于强化引导的视觉推理的元素级文本-图像对齐评估

Fulin Shi, Wenyi Xiao, Bin Chen, Liang Din, Leilei Gan

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 REVEALER通过强化引导的视觉推理实现元素级文本-图像对齐评估，提升模型对齐判断的可解释性和效率。

Making medical vision-language models think causally across modalities with retrieval-augmented cross-modal reasoning

通过检索增强的跨模态推理使医疗视觉-语言模型在多模态中实现因果推理

Weiqin Yang, Haowen Xue, Qingyi Peng, Hexuan Hu, Qian Huang, Tingbo Zhang

机构 * University of Adelaide（阿德莱德大学） ； Hohai University（河海大学） ； Amap 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.LG

AI总结 本文提出多模态因果检索增强生成框架，通过整合因果推理原理与多模态检索，提升医疗VLMs在诊断预测和视觉问答中的事实准确性与鲁棒性。

The Spatial Blindspot of Vision-Language Models

视觉-语言模型的空间盲区

Nahid Alam, Leema Krishna Murali, Siddhant Bharadwaj, Patrick Liu, Timothy Chung, Drishti Sharma, Akshata A, Kranthi Kiran, Wesley Tam, Bala Krishna S Vegesna

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出通过改进图像编码器和2D位置编码来提升视觉-语言模型的空间推理能力，以解决其在空间关系捕捉上的不足。

Comments Work done as part of the EleutherAI SOAR Program

Visual serial processing deficits explain divergences in human and VLM reasoning

视觉序列处理缺陷解释了人类与VLM推理之间的差异

Nicholas Budny, Kia Ghods, Declan Campbell, Raja Marjieh, Amogh Joshi, Sreejan Kumar, Jonathan D. Cohen, Taylor W. Webb, Thomas L. Griffiths

机构 * Princeton Neuroscience Institute（普林斯顿神经科学研究所） ； Department of Psychology, Princeton University（普林斯顿大学心理学系） ； Department of Psychology, Université de Montréal（蒙特利尔大学心理学系） ； Mila - Quebec AI Institute（魁北克AI研究所） ； Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 视觉推理 ：VLM(title,abstract)；vision language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 研究发现视觉语言模型在视觉序列处理能力上存在缺陷，导致其在不同领域中的推理表现与人类存在显著差距。

VisRes Bench: On Evaluating the Visual Reasoning Capabilities of VLMs

VisRes Bench: 关于评估视觉语言模型的视觉推理能力

Brigitta Malagurski Törtei, Yasser Dahou, Ngoc Dung Huynh, Wamiq Reyaz Para, Phúc H. Lê Khac, Ankit Singh, Sofian Chaybouti, Sanath Narayan

机构 * Technology Innovation Institute, Abu Dhabi, UAE（阿布扎比技术创新研究所） ； Tuebingen AI Center/University of Tuebingen（图宾根人工智能中心/图宾根大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 VisRes Bench通过三个层次评估VLMs的视觉推理能力，揭示其在复杂任务中的局限性，并为多模态研究提供统一框架。

VLIC: Vision-Language Models As Perceptual Judges for Human-Aligned Image Compression

VLIC: 基于视觉-语言模型的人类对齐图像压缩感知判官

Kyle Sargent, Ruiqi Gao, Philipp Henzler, Charles Herrmann, Aleksander Holynski, Li Fei-Fei, Jiajun Wu, Jason Zhang

机构 * Stanford University（斯坦福大学） ； Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 VLIC利用视觉-语言模型进行图像压缩，通过零样本推理实现人类感知对齐，提升压缩性能。

Comments 14 pages, 8 figures

VOST-SGG: VLM-Aided One-Stage Spatio-Temporal Scene Graph Generation

VOST-SGG：基于视觉语言模型的一阶段时空场景图生成

Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） ； Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（科学、技术与研究局高性能计算研究所） ； Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore（科学、技术与研究局前沿人工智能研究中心） 纠错

专题命中 视觉推理 ：VLM(title,abstract)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 VOST-SGG通过整合视觉语言模型的常识推理能力，提出了一种基于多模态特征和双源查询初始化的一阶段时空场景图生成方法，实现了对视频中对象及其关系的高效建模。

iFinder: Structured Zero-Shot Vision-Based LLM Grounding for Dash-Cam Video Reasoning

iFinder: 结构化零样本视觉基于LLM的地面定位用于行车记录仪视频推理

Manyi Yao, Bingbing Zhuang, Sparsh Garg, Amit Roy-Chowdhury, Christian Shelton, Manmohan Chandraker, Abhishek Aich

机构 * NEC Laboratories, America（NEC美国实验室） ； University of California, Riverside（加州大学河滨分校） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 视觉推理 ：grounding(title,abstract)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 iFinder通过结构化语义接地框架，利用行车记录仪视频中的关键线索提升LLM在驾驶视频推理中的性能。

Comments Accepted at NeurIPS 2025

Constructing and Interpreting Digital Twin Representations for Visual Reasoning via Reinforcement Learning

Yiqing Shen, Mathias Unberath

机构 * Department of Computer Science, Johns Hopkins University（计算机科学系，约翰霍普金斯大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV

PROPA: Toward Process-level Optimization in Visual Reasoning via Reinforcement Learning

Yanbei Jiang, Chao Lei, Yihao Ding, Krista Ehinger, Jey Han Lau

机构 * University of Melbourne（墨尔本大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models

Xinyi Wang, Xun Yang, Yanlong Xu, Yuchen Wu, Zhen Li, Na Zhao

机构 * University of Science and Technology of China（科学技术大学） ； Singapore University of Technology and Design（新加坡科技设计大学） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；grounding(abstract)；MLLM(abstract)；分类 cs.CV

Comments NeurIPS 2025

Visionary-R1: Mitigating Shortcuts in Visual Reasoning with Reinforcement Learning

Jiaer Xia, Yuhang Zang, Peng Gao, Sharon Li, Kaiyang Zhou

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Shanghai AI Lab（上海人工智能实验室） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；VLM(abstract)；visual language model(abstract)；分类 cs.CV

Diagnosing Visual Reasoning: Challenges, Insights, and a Path Forward

Jing Bi, Guangyu Sun, Ali Vosoughi, Chen Chen, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments 5 pages

Shakti-VLMs: Scalable Vision-Language Models for Enterprise AI

Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

机构 * SandLogic Technologies Pvt Ltd（沙德逻辑技术 Pvt Ltd） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.CV

Latent Visual Reasoning

Bangzheng Li, Ximeng Sun, Jiang Liu, Ze Wang, Jialian Wu, Xiaodong Yu, Hao Chen, Emad Barsoum, Muhao Chen, Zicheng Liu

机构 * University of California, Davis（加州大学戴维斯分校） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV