视觉大模型 / VLM

What's Holding Back Latent Visual Reasoning?

是什么在阻碍潜在视觉推理？

André G. Viveiros, Nuno Gonçalves, André F. T. Martins, Matthias Lindemann

机构 * Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院） ； Instituto de Telecomunicações（电信研究所） ； TransPerfect（TransPerfect公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究探讨了现有模型如何利用潜在令牌，发现潜在令牌在最终预测中起作用有限，主要问题在于训练数据中潜在令牌信息有限且推理时生成的潜在令牌偏离真实表示，需要高质量数据和更精确的潜在令牌预测来推动发展。

Meow-Omni 1: A Multimodal Large Language Model for Feline Ethology

Meow-Omni 1：用于猫类行为学的多模态大语言模型

Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

机构 * University College London（伦敦大学学院） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 Meow-Omni 1通过融合视频、音频和生理时间序列数据，实现对动物意图的精准识别，其在MeowBench基准测试中达到71.16%的准确率，推动了跨物种意图理解及基础模型在兽医诊断和野生动物保护中的应用。

ImagineNav++: Prompting Vision-Language Models as Embodied Navigator through Scene Imagination

ImagineNav++: 通过场景想象促使视觉语言模型作为具身导航器

Teng Wang, Xinxin Zhao, Wenzhe Cai, Changyin Sun

机构 * School of Automation, Southeast University（东南大学自动化学院） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)

AI总结 本文提出ImagineNav++，通过场景想象将视觉语言模型用于无地图导航，利用想象模块生成高探索潜力的视点，并通过选择性聚焦记忆机制实现空间一致性，实验表明其在无地图导航中表现优异。

Comments 17 pages, 10 figures. arXiv admin note: text overlap with arXiv:2410.09874

MMErroR: A Benchmark for Erroneous Reasoning in Vision-Language Models

MMErroR：面向视觉-语言模型错误推理的基准测试

Yang Shi, Yifeng Xie, Minzhe Guo, Liangsi Lu, Mingxuan Huang, Jingchao Wang, Zhihong Zhu, Boyan Xu, Zhiqi Huang

机构 * Guangdong University of Technology（广东工业大学） ； Hong Kong Baptist University（香港 Baptist大学） ； Sun Yat-sen University（中山大学） ； Peking University（北京大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出MMErroR基准，通过1997个包含单一推理错误的样本，评估视觉-语言模型检测错误推理的能力，发现即使最佳模型也仅能正确分类66.65%的错误。

Comments Accepted by ACL 2026 Main

See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models

看见、听见与理解：多模态大语言模型中人类语音理解基准测试

Le Thien Phuc Nguyen, Zhuoran Yu, Samuel Low Yu Hang, Subin An, Jeongik Lee, Yohan Ban, SeungEun Chung, Thanh-Huy Nguyen, JuWan Maeng, Soochahn Lee, Yong Jae Lee

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Kookmin University（国民大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出AV-SpeakerBench基准测试，通过3212道多选题评估多模态大语言模型在真实视频中对语音的细粒度理解能力，发现Gemini 2.5 Pro在音频视觉融合方面表现最佳。

Comments Findings of CVPR 2026

Lost in the Hype: Revealing and Dissecting the Performance Degradation of Medical Multimodal Large Language Models in Image Classification

迷失在喧嚣中：揭示并剖析医学多模态大语言模型在图像分类中的性能退化

Xun Zhu, Fanbin Mo, Xi Chen, Kaili Zheng, Shaoshuai Yang, Yiming Shi, Jian Gao, Miao Li, Ji Wu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文研究了医学多模态大语言模型在图像分类中的性能退化问题，通过实验和特征探查揭示了四个失败模式，并提出了量化评分用于评估特征演变的健康状况。

VLM-SubtleBench: How Far Are VLMs from Human-Level Subtle Comparative Reasoning?

VLM-SubtleBench: VLMs在人类水平的细微比较推理方面还有多远？

Minkyu Kim, Sangheon Lee, Dongmin Park

机构 * KRAFTON ； KAIST（韩国科学技术院） 纠错

专题命中 视觉推理 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 VLM-SubtleBench通过评估VLMs在细微比较推理上的表现，揭示了模型与人类性能之间的差距，并为提升VLMs的推理能力提供了基础。

Comments ICLR 2026

Lightweight Visual Reasoning for Socially-Aware Robots

轻量级视觉推理用于社交感知机器人

Alessio Galatolo, Ronald Cumbal, Alexandros Rouchitsas, Katie Winkle, Didem Gürdür Broo, Ginevra Castellano

机构 * Department of Information Technology, Uppsala University（信息科技系，乌普萨拉大学） 纠错

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)

AI总结 本研究提出了一种轻量级视觉推理模块，用于提升社交感知机器人在复杂人机交互中的表现，通过闭环反馈机制增强机器人对动态人类行为的理解和响应能力。

Comments ICRA26

Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs

通过对比的视角：VLMs中的自改进视觉推理

Zhiyu Pan, Yizheng Wu, Jiashen Hua, Junyi Feng, Shaotian Yan, Bing Deng, Zhiguo Cao, Jieping Ye

机构 * Huazhong University of Science and Technology（华中科技大学） ； Alibaba Cloud（阿里云） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 通过视觉对比提升VLMs的推理能力，提出VC-STaR框架，有效减少推理幻觉并提升多种VLMs的视觉推理性能。

Comments 19 pages, 9 figures, accepted to ICLR 2026 (oral)

Euclid's Gift: Enhancing Spatial Perception and Reasoning in Vision-Language Models via Geometric Surrogate Tasks

Shijie Lian, Changti Wu, Laurence Tianruo Yang, Hang Yuan, Bin Yu, Lei Zhang, Kai Chen

机构 * Huazhong University of Science and Technology（华中科技大学） ； Zhongguancun Academy（中关村学院） ； East China Normal University（华东师范大学） ； Zhengzhou University（郑州大学） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Visual Structures Helps Visual Reasoning: Addressing the Binding Problem in VLMs

Amirmohammad Izadi, Mohammad Ali Banayeeanzade, Fatemeh Askari, Ali Rahimiakbar, Mohammad Mahdi Vahedi, Hosein Hasani, Mahdieh Soleymani Baghshah

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to NeurIPS 2025 (Thirty-ninth Conference on Neural Information Processing Systems)

Reinforcing VLMs to Use Tools for Detailed Visual Reasoning Under Resource Constraints

Sunil Kumar, Bowen Zhao, Leo Dirac, Paulina Varshavskaya

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

RGB-Th-Bench: A Dense benchmark for Visual-Thermal Understanding of Vision Language Models

Mehdi Moshtaghi, Siavash H. Khajavi, Joni Pajarinen

专题命中 视觉推理 ：vision language model(title)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

GFlowVLM: Enhancing Multi-step Reasoning in Vision-Language Models with Generative Flow Networks

Haoqiang Kang, Enna Sachdeva, Piyush Gupta, Sangjae Bae, Kwonjoon Lee

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Journal ref CVPR 2025

Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models

Elaine Sui, Xiaohan Wang, Serena Yeung-Levy

专题命中 视觉推理 ：vision-language model(title,abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted at WACV 2025

UniBench: Visual Reasoning Requires Rethinking Vision-Language Beyond Scaling

Haider Al-Tahan, Quentin Garrido, Randall Balestriero, Diane Bouchacourt, Caner Hazirbas, Mark Ibrahim

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models

Rohan Wadhawan, Hritik Bansal, Kai-Wei Chang, Nanyun Peng

专题命中 视觉推理 ：visual reasoning(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

Journal ref PMLR 235:49733-49787, 2024

Beyond Embeddings: The Promise of Visual Table in Visual Reasoning

Yiwu Zhong, Zi-Yuan Hu, Michael R. Lyu, Liwei Wang

专题命中 视觉推理 ：visual reasoning(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Project page: https://github.com/LaVi-Lab/Visual-Table

Vision-Language Models Provide Promptable Representations for Reinforcement Learning

William Chen, Oier Mees, Aviral Kumar, Sergey Levine

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences

Xiyao Wang, Yuhang Zhou, Xiaoyu Liu, Hongjin Lu, Yuancheng Xu, Feihong He, Jaehong Yoon, Taixi Lu, Gedas Bertasius, Mohit Bansal, Huaxiu Yao, Furong Huang

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 27 pages, 23 figures

Bridging the Gap: Exploring the Capabilities of Bridge-Architectures for Complex Visual Reasoning Tasks

Kousik Rajesh, Mrigank Raman, Mohammed Asad Karim, Pranit Chawla

专题命中 视觉推理 ：visual reasoning(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

Neuro-Symbolic Visual Reasoning: Disentangling "Visual" from "Reasoning"

Saeed Amizadeh, Hamid Palangi, Oleksandr Polozov, Yichen Huang, Kazuhito Koishida

专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Published in Proceedings of the 37th International Conference on Machine Learning (ICML), Online, PMLR 119, 2020

AVERY: Intent-Driven Adaptive VLM Split Computing via Embodied Self-Awareness for Efficient Disaster Response Systems

AVERY：基于具身自感知的意图驱动自适应VLM分发计算以实现高效的灾害响应系统

Rajat Bhattacharjya, Sing-Yao Wu, Hyunwoo Oh, Chaewon Nam, Suyeon Koo, Mohsen Imani, Elaheh Bozorgzadeh, Nikil Dutt

机构 * University of California, Irvine（加州大学尔湾分校） ； Kookmin University（国民大学） 纠错

专题命中 视觉推理 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 AVERY通过意图驱动的自适应分发计算框架，在资源受限平台高效部署VLM，利用双流分发策略提升灾害响应系统实时查询能力，实现更高的准确性和更低的能耗。

Comments Paper is currently under review. Authors' version posted for personal use and not for redistribution. Previous version of the preprint was titled: 'AVERY: Adaptive VLM Split Computing through Embodied Self-Awareness for Efficient Disaster Response Systems'

VLM@school -- Evaluation of AI image understanding on German middle school knowledge

René Peinl, Vincent Tischler

专题命中 视觉推理 ：VLM(title,comments)；vision language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI

Comments Peinl, René; Tischler, Vincent (2025): VLM@school - Evaluation of AI image understanding on German middle school knowledge. Future Technologies Conference (FTC) 2025, Munich, Germany 2025 (accepted)

Answer-Level Trust Selection for Physical Vision-Language Reasoning

面向物理视觉-语言推理的答案级信任选择

Rongyu Yu, Ke Niu, Fengxiang He

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.LG

AI总结 针对VLM部署中预测信任问题，提出模型无关的ATS框架，聚合8种诊断分数评估答案可靠性，可识别稳定错判等失效模式，补充模型级能力评估。

Comments Preprint

Spatial Message Passing in Language Space for Pathology Image Interpretation

面向病理图像解读的语言空间空间消息传递

Jing-Cheng Yang, Hao-Jung Wang, Jinhao Du, Yang Hu, Ming-shan Tsai, Jens Rittscher, Bin Li

机构 * National Taiwan University（台湾大学） ； University of Oxford（牛津大学） ； ZYTCA Limited（ZYTCA有限公司） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出SLMP框架，在语言空间对病理图像执行空间推理，无需微调MLLM，提升肿瘤描述准确率，缩小通用与病理专用MLLM的性能差距。

Comments Accepted at MICCAI 2026 Workshop (Oral)

GeoBridge: Decoupled Semantic Conditioning for Generative Image Geolocalization

GeoBridge：用于生成式图像地理定位的解耦语义条件机制

Zhiyang Dou, Xumeng Han, Fengde Peng, Zipeng Wang, Moxuan Zhao, Zhipei Huang, Zhenjun Han

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； School of Advanced Interdisciplinary Sciences（先进交叉科学学院） ； School of Electronic, Electrical and Communication Engineering（电子电气与通信工程学院） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 GeoBridge是一种解耦语义条件机制，通过连接冻结语义MLLM与黎曼流匹配头，在IM2GPS3K数据集上25/200/750公里阈值下准确率达38.67/52.89/70.37，提升了生成式图像地理定位性能，属解码侧算法贡献。

AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery

人工智能与人类专家推理：基于街景图像评估建筑类型预测中的一致性

Zahratu Shabrina, Muhammad Asa, Jin Rui, Lu Yin, Stephen Law

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 研究探讨视觉语言模型从街景图像推断建筑类型的潜力，将其预测与人类专家比较，评估多种VLM，发现思维链提示性能更稳定，通过分析关键词概率研究推理过程，表明VLM能逼近专家能力，为城市分析提供支持。

ME-IQA: Memory-Enhanced Image Quality Assessment via Re-Ranking

ME-IQA: 通过重新排序增强的记忆图像质量评估

Kanglong Fan, Tianhe Wu, Wen Wen, Jianzhao Liu, Le Yang, Yabin Zhang, Yiting Liao, Junlin Li, Li Zhang

机构 * City University of Hong Kong（香港城市大学） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 ME-IQA通过构建记忆库和利用推理摘要检索语义和感知对齐的邻居，将VLM重构为概率比较器，并通过门控反思和记忆巩固提升未来决策，从而实现更密集的失真敏感预测，缓解离散崩溃问题。

Comments Published as a conference paper at ECCV 2026

ThinkBLOX: 3D Indoor Scene Generation with Progressive Reasoning

ThinkBLOX：基于渐进推理的3D室内场景生成

Yuan Xiao, Can Wang, Xiangyu Kong, Jing Liao

机构 * City University of Hong Kong（香港城市大学） ； University of Hong Kong（香港大学） ； Beijing Information Science and Technology University（北京信息科技大学） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 研究针对传统与现有3D室内场景生成方法不足，提出基于VLM的渐进推理框架ThinkBLOX，构建数据集并采用监督微调与新强化学习方案，在多方面优于基线，支持多样3D场景应用。

Comments 20 pages