视觉大模型 / VLM

Reasoning Limitations of Multimodal Large Language Models. A Case Study of Bongard Problems

Mikołaj Małkiński, Szymon Pawlonka, Jacek Mańdziuk

机构 * Warsaw University of Technology, Warsaw, Poland（华沙技术大学） ； AGH University of Krakow, Krakow, Poland（克拉科夫AGH大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；visual reasoning(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to The Forty-Second International Conference on Machine Learning (ICML 2025)

Visual Language Models show widespread visual deficits on neuropsychological tests

Gene Tangtartharakul, Katherine R. Storrs

专题命中 视觉推理 ：visual language model(title,abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 31 pages, 3 figures, 1 supplementary document with 1 figure and 51 sample images; corrected typo in Fig 1

A Survey on Multimodal Large Language Models

Shukang Yin, Chaoyou Fu, Sirui Zhao, Ke Li, Xing Sun, Tong Xu, Enhong Chen

专题命中 视觉推理 ：multimodal large language model(title,abstract)；visual reasoning(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted for publication in National Science Review. Project page:https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

Towards Truly Zero-shot Compositional Visual Reasoning with LLMs as Programmers

Aleksandar Stanić, Sergi Caelles, Michael Tschannen

专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Object-Centric Diagnosis of Visual Reasoning

Jianwei Yang, Jiayuan Mao, Jiajun Wu, Devi Parikh, David D. Cox, Joshua B. Tenenbaum, Chuang Gan

专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AVIS: Adaptive Test-Time Scaling for Vision-Language Models

AVIS: 视觉语言模型的自适应测试时缩放

Ahmadreza Jeddi, Minh Ngoc Le, Amirhossein Kazerouni, Hakki Can Karaimer, Hue Nguyen, Iqbal Mohomed, Michael Brudno, Alex Levinshtein, Konstantinos G. Derpanis, Babak Taati, Radek Grzeszczuk

机构 * AI Center-Toronto, Samsung Electronics（三星电子多伦多AI中心） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； York University（约克大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract_cn,comments)；visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 提出AVIS，通过轻量策略联合优化视觉上下文缩放和推理缩放，利用无训练的关键多样性剪枝和自适应自一致性，在多种基准上提升精度-计算权衡。

Comments Project page: https://avis-vlm.github.io/

Virgo: A Preliminary Exploration on Reproducing o1-like MLLM

Yifan Du, Zikang Liu, Yifan Li, Wayne Xin Zhao, Yuqi Huo, Bingning Wang, Weipeng Chen, Zheng Liu, Zhongyuan Wang, Ji-Rong Wen

专题命中 视觉推理 ：MLLM(title,abstract)；visual reasoning(abstract,comments)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Technical Report on Slow Thinking with LLMs: Visual Reasoning

Foundation Models for Automatic CAD Generation

用于自动CAD生成的基础模型

J de Curtò, Victoria Guillén, I. de Zarzà

机构 * BARCELONA Supercomputing Center（巴塞罗那超级计算中心） ； Universidad Pontificia Comillas（庞培法布拉大学） ； Chung-Ang University（中央大学） ； LUXEMBOURG Institute of Science and Technology（卢森堡科学技术研究所） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 研究利用统一评估管道和基准，对用于机械零件自动CAD生成的基础模型展开实证。介绍LLMForge框架，通过两种批判机制评估七个基础模型，展示了紧凑模型的效果，以及VLM批判的作用，还探讨了相关设计及影响。

Comments Accepted as a book chapter in "Advances in Global Applied Artificial Intelligence" (G. A. Tsihrintzis, M. Virvou, N. G. Bourbakis, L. C. Jain, Eds.), authenticated version will be published in Springer series: Learning and Analytics in Intelligent Systems

Dynamo: Dynamic Skill-Tool Evolution for Vision-Language Agents

Dynamo: 视觉-语言代理的动态技能-工具演化

Yutao Sun, Yanting Miao, Hao-Xuan Ma, Mengyu Zhou, Mingshuai Chen, Tiancheng Zhao, Dexin Wang, Lei Lv, Li Xu, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里云大模型应用团队） ； Alibaba Zhejiang University（阿里巴巴浙江大学） ； University of Waterloo（多伦多大学） ； Vector Institute（向量研究所） ； Nanjing University（南京大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江学院） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 提出Dynamo，一种无需训练、无需权重更新的框架，通过让冻结的VLM在少量标注数据上自我检查并演化可复用的推理技能和可执行的视觉工具，提升视觉推理性能。

TimeProVe: Propose, then Verify for Efficient Long Video Temporal Reasoning in Activities of Daily Living

TimeProVe: 先提出后验证，实现日常活动中的高效长视频时间推理

Arkaprava Sinha, Dominick Reilly, Siddharth Krishnan, Hieu Le, Srijan Das

机构 * University of North Carolina, Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出TimeProVe框架，先通过轻量模块生成基于动作的候选假设，再调用昂贵VLM验证，在长视频问答中降低75%VLM调用和93%推理成本，性能提升7.3%。

EndoCoT: Scaling Endogenous Chain-of-Thought Reasoning in Diffusion Models

EndoCoT：扩散模型中的内生思维链推理扩展

Xuanlang Dai, Yujie Zhou, Long Xing, Jiazi Bu, Xilin Wei, Yuhong Liu, Beichen Zhang, Kai Chen, Yuhang Zang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Xi’an Jiaotong University（西安交通大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiaotong University（上海交通大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出EndoCoT框架，通过迭代思维引导模块激活MLLM的推理潜力，并利用终端思维接地模块确保推理轨迹与文本监督对齐，使DiT逐步执行复杂任务，在多个基准上平均准确率达92.1%。

Comments 23 pages, 18 figures, The code and dataset are publicly available at https://internlm.github.io/EndoCoT/

Forced Deferral: Manipulating Routing Decisions in Multimodal LLM Cascades

强制延迟：在多模态大语言模型级联中操纵路由决策

Zhongye Liu, Yaopei Zeng, Yurui Chang, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract)；visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 提出强制延迟攻击（FDA），通过对抗性图像攻击降低弱模型置信度，迫使级联系统将查询路由到强模型，揭示了MLLM级联在计算分配上的安全漏洞。

Reasoning in Computer Vision: Taxonomy, Models, Tasks, and Methodologies

计算机视觉中的推理：分类、模型、任务与方法论

Ayushman Sarkar, Zhenyu Yu, Mohd Yamani Idna Idris

机构 * Department of Computer Science and Engineering, Birbhum Institute of Engineering and Technology（计算机科学与工程系，比罗尔理工学院） ； College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学） ； Faculty of Computer Science and Information Technology, Universiti Malaya（计算机科学与信息技术学院，马来亚大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；visual reasoning(abstract)；visual question answering(abstract)

AI总结 本文对计算机视觉中的推理进行系统分类，涵盖关系、符号、时间、因果和常识推理，并综述了从图模型到多模态大语言模型的实现方法及评估协议，指出开放挑战并设定未来研究方向。

Thinking with Imagination: Agentic Visual Spatial Reasoning with World Simulators

思考与想象：基于世界模拟器的智能视觉空间推理

Chenming Zhu, Jingli Lin, Yilin Long, Peizhou Cao, Tai Wang, Jiangmiao Pang, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Beihang University（北航大学） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 提出Astra框架，通过强化学习训练VLM策略与Bagel世界模拟器交互，在推理中生成想象视觉证据，解决空间推理中的未观察布局、跨视角一致性和替代视角推理问题。

Comments Project page: https://zcmax.github.io/projects/Thinking-With-Imagination

D2-V2X: Depth-Driven Cooperative V2X Reasoning for Autonomous Driving

D2-V2X: 面向自动驾驶的深度驱动协同V2X推理

Kevin Richard, Alphin Varghese, Colin Pham, David Oh, Srijan Das

机构 * University of North Carolina at Charlotte（北卡罗来纳州立大学） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 针对单车辆视觉语言模型受传感器遮挡限制的问题，提出D2-V2X基准和基线模型，通过融合3D LiDAR特征与VLM潜空间，利用链式思维推理实现遮挡目标识别和空间估计，在识别遮挡危险和降低空间估计误差上取得显著提升。

Comments Accepted to the DriveX Workshop at CVPR 2026 (Non-archival)

Feeling the Space: Egomotion-Aware Video Representation for Efficient and Accurate 3D Scene Understanding

感知空间：面向高效准确3D场景理解的自我运动感知视频表示

Shuyao Shi, Kang G. Shin

机构 * Department of Computer Science（计算机科学系） ； University of Michigan（密歇根大学） ； University of Michigan Ann Arbor（密歇根大学安阿伯分校） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Motion-MLLM框架，结合IMU数据与视觉特征，通过运动-视觉关键帧过滤模块和异构跨模态融合模块，提升3D场景理解与空间推理的效率和准确性。

Comments 22 pages, 10 figures

DUALVISION: RGB-Infrared Multimodal Large Language Models for Robust Visual Reasoning

DUALVISION：用于鲁棒视觉推理的RGB-红外多模态大语言模型

Abrar Majeedi, Zhiyuan Ruan, Ziyi Zhao, Hongcheng Wang, Jianglin Lu, Yin Li

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Amazon（亚马逊） ； Northeastern University（东北大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；visual reasoning(title)；分类 cs.CV

AI总结 本文提出DUALVISION，通过局部化交叉注意力融合IR-RGB信息，提升多模态大语言模型在视觉退化条件下的性能，并引入DV-204K和DV-500数据集进行评估。

Comments Accepted at CVPR Findings 2026

High-Resolution Visual Reasoning via Multi-Turn Grounding-Based Reinforcement Learning

通过多轮基于定位的强化学习实现高分辨率视觉推理

Xinyu Huang, Yuhao Dong, Weiwei Tian, Bo Li, Rui Feng, Ziwei Liu

机构 * Fudan University（复旦大学） ； S-Lab, Nanyang Technological University（南洋理工大学S实验室） 纠错

专题命中 视觉推理 ：grounding(title,abstract)；visual reasoning(title)；分类 cs.CV

AI总结 本文提出MGPO框架，通过多轮对话机制使LMMs在无需额外标注的情况下提升视觉定位能力，实验表明其在MME-Realworld和V*Bench任务中表现优异。

Comments Accepted by ACL(Findings) 2026

CodeDance: A Dynamic Tool-integrated MLLM for Executable Visual Reasoning

CodeDance: 一种动态集成工具的多模态大语言模型用于可执行视觉推理

Qi Song, Honglin Li, Yingchen Yu, Haoyi Zhou, Lin Yang, Song Bai, Qi She, Zilong Huang, Yunqing Zhao

机构 * Beihang University（北京航空航天大学） ； Westlake University（西湖大学） ； ByteDance Singapore（字节跳动新加坡） ； ByteDance China（字节跳动中国） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；MLLM(title)；分类 cs.CV

AI总结 CodeDance通过可执行代码实现视觉推理，结合多工具协作与自检机制，提升复杂任务的灵活性和可解释性，实验显示其在多个基准测试中优于现有方法。

Comments CVPR 2026. Project page: https://codedance-vl.github.io/

Reinforced MLLM: A Survey on RL-Based Reasoning in Multimodal Large Language Models

Guanghao Zhou, Panjia Qiu, Cen Chen, Jie Wang, Zheming Yang, Jian Xu, Minghui Qiu

机构 * East China Normal University（东华师范大学） ； ByteDance（字节跳动） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(title)；分类 cs.AI

Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning

通过对比注意力实现聚焦：增强视觉语言模型的视觉推理能力

Yuyao Ge, Shenghua Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Xuanshan Zhou, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本研究针对VLMs在复杂环境下性能下降的问题，提出无训练方法CARVE，通过像素级注意力对比提取任务相关视觉信号，在开源模型上实现最高75%的性能提升，为提升视觉推理提供了高效路径。

AgentPatch: Coarse-to-Fine Weak-Task Repair for Merging Agentic Multimodal Large Language Models

AgentPatch：用于合并智能体多模态大语言模型的由粗到细弱任务修复

Zibo Shao, Baochen Xiong, Chengdong Xu, Linhui Xiao, Kaichen Li, Haoran Gong, Yan Li, Yaguang Song, Xiaoshan Yang

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 针对智能体多模态大语言模型合并时的弱任务退化与关键行为遗忘问题，提出无需训练的AgentPatch框架，通过由粗到细修复实现能力平衡，提升合并模型性能。

SleepVLM: A Rule-Grounded Vision-Language Model for Auditable Sleep Staging

SleepVLM：基于视觉语言模型的可解释且规则驱动的睡眠分期

Guifeng Deng, Pan Wang, Mengfan Niu, Jiquan Wang, Shuying Rao, Junyi Xie, Xi'ang Chen, Sha Zhao, Gang Pan, Wanjun Guo, Tao Li, Haiteng Jiang

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract_cn)；visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 提出SleepVLM，一种基于规则驱动的视觉语言模型，通过多通道PSG波形图像进行睡眠分期，并生成符合AASM评分标准的临床可读解释，在保持高准确率的同时提升可解释性。

Explain Before You Answer: A Survey on Compositional Visual Reasoning

回答之前先解释：组合视觉推理综述

Fucai Ke, Joy Hsu, Zhixi Cai, Zixian Ma, Xin Zheng, Xindi Wu, Sukai Huang, Weiqing Wang, Pari Delir Haghighi, Gholamreza Haffari, Ranjay Krishna, Jiajun Wu, Hamid Rezatofighi

机构 * Monash University（墨尔本大学） ； Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； Griffith University（格里菲斯大学） ； Princeton University（普林斯顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 综述2023年至2025年组合视觉推理文献，形式化核心定义，追溯范式转变，编目基准指标，提炼见解、识别挑战并概述方向，为该领域提供统一分类、历史路线图和批判性展望。

Comments Project Page: https://github.com/pokerme7777/Compositional-Visual-Reasoning-Survey

Animation2Code: Evaluating Temporal Visual Reasoning in Video-to-Code Generation

Animation2Code: 评估视频到代码生成中的时间视觉推理

Anya Ji, Abhijith Varma Mudunuri, David M. Chan, Alane Suhr

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出Animation2Code基准，通过从视频重建可执行网页动画代码来评估视觉语言模型的时间视觉推理能力，发现现有模型在时间一致性上表现不佳。

Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models

从视频中学习几何表示以实现空间智能多模态大语言模型

Haibo Wang, Lifu Huang

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出GeoVR框架，通过从2D视频序列中蒸馏3D几何知识（包括相机姿态、深度图、尺度因子和多尺度3D特征），重塑多模态大语言模型的内部表示以赋予其空间智能，在空间推理基准上达到最先进性能。

Vero: An Open RL Recipe for General Visual Reasoning

Vero: 通用视觉推理的开放RL配方

Gabriel Sarch, Linrong Cai, Qunzhong Wang, Haoyang Wu, Danqi Chen, Zhuang Liu

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出Vero系列开放视觉语言模型，通过构建600K样本数据集Vero-600K和任务路由奖励，在30个基准测试中平均提升2.9-5.4点，Vero-Qwen3I-8B超越Qwen3-VL-8B-Thinking 3.8点。

Comments Project page: https://vero-reasoning.github.io/

ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning

ClinHallu: 用于诊断医学多模态大语言模型推理中阶段式幻觉的基准

Sicheng Yang, Hangjie Yuan, Wenjun Zhang, Jinwang Wang, Yichen Qian, Weihua Chen, Fan Wang, Lei Zhu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； Hupan Lab（湖畔实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出ClinHallu基准，包含7031个实例，每个实例带有结构化推理轨迹（视觉识别、知识回忆、推理整合），通过阶段替换干预和轨迹监督微调，实现细粒度幻觉诊断与缓解。

Comments Code and datasets: https://github.com/alibaba-damo-academy/ClinHallu

Multimodal Large Language Models as Synthetic Participants in Video-Based Studies: An Evaluation

多模态大语言模型作为视频研究中的合成参与者：一项评估

Prabal Shrestha, Bohan Jiang, Haoning Xue, Huan Liu, Xinyi Zhou

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本研究评估多模态大语言模型在视频感知任务中模拟人类主观评分的表现，发现模型存在偏差且与人类一致性有限。

Comments Accepted to SocialLLM @ ICWSM 2026

ES-Merging: Biological MLLM Merging via Embedding Space Signals

ES-Merging: 通过嵌入空间信号进行生物多模态大模型合并

Wonbin Lee, Dongki Kim, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） ； DeepAuto.ai 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出ES-Merging框架，利用嵌入空间信号估计合并系数，实现生物多模态大模型的高效合并，提升跨模态推理和单模态知识保留能力。