视觉大模型 / VLM

Grid2Matrix: Revealing Digital Agnosia in Vision-Language Models

Grid2Matrix: 揭示视觉语言模型中的数字失读

Yunkai Zhang, Linda Li, Yingxin Cui, Xiyuan Ruan, Zeyu Zheng, Kezhen Chen, Yi Zhang, Diji Yang

机构 * BAIR, UC Berkeley（伯克利大学BAIR实验室） ； UC Santa Cruz（圣克拉拉大学） ； Analogy AI 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 Grid2Matrix通过控制视觉复杂度测试视觉语言模型在捕捉细节方面的不足，发现模型在小网格上表现不佳，揭示了视觉编码与语言表达间的差距，即'数字失读'。

LAST: Leveraging Tools as Hints to Enhance Spatial Reasoning for Multimodal Large Language Models

LAST：利用工具作为提示以增强多模态大语言模型的空间推理能力

Shi-Yu Tian, Zhi Zhou, Kun-Yang Yu, Ming Yang, Yang Chen, Ziqiao Shang, Lan-Zhe Guo, Yu-Feng Li

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 LAST通过整合专用视觉模型，解决多模态大语言模型在复杂几何布局解析中的幻觉和不精确问题，提出统一框架提升空间推理能力。

Comments 13 pages

Towards Efficient Large Vision-Language Models: A Comprehensive Survey on Inference Strategies

迈向高效的大型视觉-语言模型：关于推理策略的综合调查

Surendra Pathak, Bo Han

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 视觉推理 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文综述了提升大型视觉语言模型推理效率的最新方法，从视觉token压缩、内存管理、架构设计和解码策略四个维度进行分类，并指出当前方法的局限性及未来研究方向。

Comments 12 pages

Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

Lang2Act: 通过自涌现语言工具链实现细粒度视觉推理

Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Zulong Chen, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） ； Alibaba Group, Hangzhou, China（阿里巴巴集团） 纠错

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 Lang2Act通过自涌现语言工具链提升视觉感知与推理能力，采用强化学习框架优化VLMs的视觉感知和下游任务性能，实验显示其在视觉感知能力上有显著提升。

GENFIG1: Visual Summaries of Scholarly Work as a Challenge for Vision-Language Models

GENFIG1：学术工作的视觉摘要对视觉-语言模型的挑战

Yaohan Guan, Pristina Wang, Najim Dehak, Alan Yuille, Jieneng Chen, Daniel Khashabi

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 GENFIG1基准测试要求视觉-语言模型生成能清晰表达论文核心思想的图表，强调科学理解与视觉合成的结合，揭示生成高质量学术图表的难度。

CARPE: Context-Aware Image Representation Prioritization via Ensemble for Large Vision-Language Models

CARPE：通过集成实现上下文感知的图像表示优先级

Donghee Lee, Rui Cai, Zhe Zhao

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 CARPE通过集成机制增强大视觉-语言模型对视觉和文本模态的自适应加权能力，提升图像分类和多模态任务表现。

How Far Are Vision-Language Models from Constructing the Real World? A Benchmark for Physical Generative Reasoning

视觉-语言模型距离构建现实世界还有多远？一个物理生成推理的基准测试

Luyu Yang, Yutong Dai, An Yan, Viraj Prabhu, Ran Xu, Zeyuan Chen

机构 * Salesforce AI Research（Salesforce 人工智能研究院） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DreamHouse基准测试，评估视觉-语言模型在物理生成推理能力上的不足，通过住宅木构架建造领域验证模型在结构、施工可行性等约束下的生成能力。

Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding

面向大视觉-语言模型的注意力感知推理优化

Fatih Ilhan, Gaowen Liu, Ramana Rao Kompella, Selim Furkan Tekin, Tiansheng Huang, Zachary Yahn, Yichang Xu, Ling Liu

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Cisco Research（思科研究） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出AttentionPack框架，通过紧凑注意力机制和解压机制提升大视觉-语言模型解码效率，实验表明内存效率提升8倍，支持更大批次和更快推理，同时保持输出质量。

Understanding Pruning Regimes in Vision-Language Models Through Domain-Aware Layer Selection

通过领域感知的层选择理解视觉-语言模型中的剪枝规则

Saeed Khaki, Nima Safaei, Kamal Ginotra

机构 * Microsoft AI（微软人工智能） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究通过领域感知激活相似性分析，揭示视觉-语言模型中不同剪枝预算下层移除对性能的影响，发现三种剪枝规则：低预算下性能敏感，中预算下结构损伤累积，高预算下结构连续性主导。

From Intuition to Investigation: A Tool-Augmented Reasoning MLLM Framework for Generalizable Face Anti-Spoofing

从直觉到探究：一种工具增强的推理MLLM框架用于可推广的面部反伪装

Haoyuan Zhang, Keyao Wang, Guosheng Zhang, Haixiao Yue, Zhiwen Tan, Siran Peng, Tianshuo Zhang, Xiao Tan, Kunbin Chen, Wei He, Jingdong Wang, Ajian Liu, Xiangyu Zhu, Zhen Lei

机构 * SAI, UCAS（UCAS智能科学研究院） ； MAIS, CASIA（CASIA模式识别与智能信息处理研究院） ； Baidu Inc（百度公司） ； CAIR, HKISI, CAS（HKISI CAS计算机视觉研究院） ； M.U.S.T 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出TAR-FAS框架，通过整合外部视觉工具提升面部反伪装的泛化能力，采用CoT-VT范式使MLLM深入分析细微伪装线索，实验表明其在跨域协议下达到SOTA性能。

Comments Accepted by CVPR 2026

ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models

ESPIRE：一种用于视觉-语言模型具身空间推理的诊断基准

Yanpeng Zhao, Wentao Ding, Hongtao Li, Baoxiong Jia, Zilong Zheng

机构 * State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出ESPIRE基准，通过模拟环境评估视觉-语言模型在具身空间推理中的表现，改进了传统评估方法，实现了更细致的推理与行动分析。

VL-KGE: Vision-Language Models Meet Knowledge Graph Embeddings

VL-KGE：视觉-语言模型与知识图谱嵌入的结合

Athanasios Efthymiou, Stevan Rudinac, Monika Kackovic, Nachoem Wijnberg, Marcel Worring

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VL-KGE框架，结合视觉-语言模型的跨模态对齐与结构关系建模，提升多模态知识图谱的链接预测性能。

Comments Published in Proceedings of the ACM Web Conference 2026 (WWW '26). This arXiv version includes extended supplementary material

Journal ref In Proceedings of the ACM Web Conference 2026 (WWW '26)

Think While Watching: Online Streaming Segment-Level Memory for Multi-Turn Video Reasoning in Multimodal Large Language Models

边看边想：多轮视频推理的在线流式段级内存

Lu Wang, Zhuoran Jin, Yupu Hao, Yubo Chen, Kang Liu, Yulong Ao, Jun Zhao

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Think While Watching框架，通过段级内存保持多轮视频推理连续性，提升流式视频理解的准确率和效率。

Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans

分词使多模态大语言模型能够理解、生成和编辑建筑平面图

Sizhong Qin, Ramon Elias Weber, Xinzheng Lu

机构 * Tsinghua University（清华大学） ； UC Berkeley（伯克利大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 HouseMind通过引入离散房间实例标记，实现了建筑平面图的统一理解和生成，具备高效且可控的布局生成能力。

Comments 20 pages, 9 figures. Accepted to CVPR 2026

Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities

Daily-Omni: 向音频-视觉推理迈进：跨模态时间对齐

Ziwei Zhou, Rui Wang, Zuxuan Wu, Yu-Gang Jiang

专题命中 视觉推理 ：visual reasoning(title)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 Daily-Omni提出一个包含684个真实世界视频和1,197个问题的音频-视觉问答基准，评估24个模型在跨模态时间对齐任务上的性能，发现端到端模型在对齐关键问题上仍面临挑战。

TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics

TIGeR: 视觉-语言模型中集成工具的几何推理

Yi Han, Enshen Zhou, Shanyu Rong, Jingkun An, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Lu Sheng, Shanghang Zhang

机构 * Beihang University（北洋大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理国家重点实验室） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 TIGeR通过集成工具实现视觉-语言模型的几何推理，提升机器人操作的精确度。

Comments 8 pages, 6 figures

VITA: Zero-Shot Value Functions via Test-Time Adaptation of Vision-Language Models

VITA：通过视觉语言模型的测试时间适应实现零样本价值函数

Christos Ziakas, Alessandra Russo

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 VITA通过测试时间适应提升视觉语言模型的零样本价值估计能力，实现跨任务和环境的泛化，优于现有方法。

Comments International Conference on Learning Representations, 2026

OmniSpatial: Towards Comprehensive Spatial Reasoning Benchmark for Vision Language Models

OmniSpatial：迈向视觉语言模型的空间推理综合基准

Mengdi Jia, Zekun Qi, Shaochen Zhang, Wenyao Zhang, Xinqiang Yu, Jiawei He, He Wang, Li Yi

机构 * Tsinghua University（清华大学） ； Xian Jiaotong University（西安交通大学） ； Shanghai Jiao Tong University（上海交通大学） ； Galbot ； Peking University（北京大学） ； Shanghai Qi Zhi Institute（上海启智研究院） 纠错

专题命中 视觉推理 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 OmniSpatial是一个基于认知心理学的综合性空间推理基准，通过动态推理、复杂空间逻辑等四个类别，评估视觉语言模型在空间推理上的能力与局限。

Comments ICLR 2026

TACIT Benchmark: A Programmatic Visual Reasoning Benchmark for Generative and Discriminative Models

TACIT基准：一个生成和判别模型的程序化视觉推理基准

Daniel Nobrega Medeiros

机构 * Independent Researcher（独立研究者） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV、cs.AI

AI总结 TACIT基准提出一个程序化视觉推理测试，包含10个任务和6个领域，通过生成和判别双轨评估模型在空间导航、抽象模式完成等任务中的推理能力。

Comments 10 pages, 4 figures, 5 tables

Interpretable Debiasing of Vision-Language Models for Social Fairness

可解释的视觉-语言模型社会公平性偏见消除

Na Min An, Yoonna Jang, Yusuke Hirota, Ryo Hachiuma, Isabelle Augenstein, Hyunjung Shim

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； University of Copenhagen（哥本哈根大学） ； NVIDIA（英伟达公司） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出DeBiasLens框架，通过稀疏自编码器局部化VLM中的社会属性神经元，以可解释的方式消除模型中的社会偏见，同时保持语义知识。

Comments 25 pages, 30 figures, 13 Tables Accepted to CVPR 2026

Seeing Farther and Smarter: Value-Guided Multi-Path Reflection for VLM Policy Optimization

看得更远且更聪明：基于价值引导的多路径反射用于VLM策略优化

Yanting Yang, Shenyuan Gao, Qingwen Bu, Li Chen, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 视觉推理 ：VLM(title)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究提出了一种基于价值引导的多路径反射方法，用于提升VLM在机器人操作任务中的策略优化性能，通过解耦状态评估与动作生成，提高决策鲁棒性并减少推理时间。

Comments ICRA 2026

U2-BENCH: Benchmarking Large Vision-Language Models on Ultrasound Understanding

U2-BENCH：在超声理解上评估大视觉-语言模型的基准测试

Anjie Le, Henan Liu, Yue Wang, Zhenyu Liu, Rongkun Zhu, Taohan Weng, Jinze Yu, Boyang Wang, Yalun Wu, Kaiwen Yan, Quanlin Sun, Meirui Jiang, Jialun Pei, Siya Liu, Haoyun Zheng, Zhoujun Li, Alison Noble, Jacques Souquet, Xiaoqing Guo, Manxi Lin, Hongcheng Guo

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 U2-BENCH首次提出评估大视觉-语言模型在超声理解上的基准测试，涵盖分类、检测、回归和文本生成任务，评估23种最新模型，揭示其在图像分类上的优势及在空间推理和临床语言生成上的挑战。

Journal ref ICLR 2026

Can Vision-Language Models See Squares? Text-Recognition Mediates Spatial Reasoning Across Three Model Families

视觉-语言模型能识别正方形吗？文本识别在三种模型家族中介导空间推理

Yuval Levental

机构 * Rochester Institute of Technology（罗切斯特技术学院） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 本研究发现视觉-语言模型在处理非文本视觉元素时存在空间定位能力缺陷，文本识别性能显著优于其本机视觉路径。

Comments 9 pages, 3 figures, 2 tables. Workshop-length paper

RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics

RoboSpatial: 教授机器人2D和3D视觉-语言模型空间理解能力

Chan Hee Song, Valts Blukis, Jonathan Tremblay, Stephen Tyree, Yu Su, Stan Birchfield

机构 * The Ohio State University（俄亥俄州立大学） ； NVIDIA（英伟达） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 RoboSpatial通过构建大规模空间理解数据集，提升机器人2D和3D视觉-语言模型的空间推理能力。

Comments CVPR 2025 (Oral); Project Website: https://chanh.ee/RoboSpatial

OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention

OmniVideo-R1: 通过查询意图和模态注意力强化音频视觉推理

Zhangquan Chen, Jiale Tao, Ruihuang Li, Yihao Hu, Ruitao Chen, Zhantao Yang, Xinlei Yu, Haodong Jing, Manyuan Zhang, Shuai Shao, Biao Wang, Qinglin Lu, Ruqi Huang

机构 * tencent（腾讯） 纠错

专题命中 视觉推理 ：visual reasoning(title)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 OmniVideo-R1通过查询意图和模态注意力机制，提升多模态推理能力，在多个基准上超越现有基线模型。

Comments 19 pages, 12 figures

Active Zero: Self-Evolving Vision-Language Models through Active Environment Exploration

主动零：通过主动环境探索实现自我进化的视觉-语言模型

Jinghan He, Junfeng Fang, Feng Xiong, Zijun Yao, Fei Shen, Haiyun Guo, Jinqiao Wang, Tat-Seng Chua

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； National University of Singapore（新加坡国立大学） ； Wuhan AI Research（武汉人工智能研究所） ； Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.LG

AI总结 Active-Zero通过主动环境探索实现视觉-语言模型的自我进化，提升推理和理解任务的性能。

SPD-Faith Bench: Diagnosing and Improving Faithfulness in Chain-of-Thought for Multimodal Large Language Models

SPD-Faith Bench: 诊断和改进多模态大语言模型中的推理忠实性

Weijiang Lv, Yaoxuan Feng, Xiaobo Xia, Jiayu Wang, Yan Jing, Wenchao Chen, Bo Chen

机构 * Xidian University（西安电子科技大学） ； National University of Singapore（新加坡国立大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 SPD-Faith Bench通过细粒度图像差异推理诊断并改进多模态大语言模型中的推理忠实性，揭示了感知盲区和感知-推理脱节的系统性失败模式，并提出SAGE框架提升视觉路由和推理与感知的一致性。

Comments 53 pages, 42 figures, 14 tables

Auto-Comp: An Automated Pipeline for Scalable Compositional Probing of Contrastive Vision-Language Models

Auto-Comp: 一种用于可扩展组合探测对比视觉-语言模型的自动化流水线

Cristian Sbrolli, Matteo Matteucci, Toshihiko Yamasaki

机构 * Politecnico di Milano（米兰理工学院） ； The University of Tokyo（东京大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 Auto-Comp通过自动化生成可扩展基准，揭示了对比视觉-语言模型在组合推理中的普遍缺陷及视觉-语言上下文的权衡问题。

Semantically Aware UAV Landing Site Assessment from Remote Sensing Imagery via Multimodal Large Language Models

基于多模态大语言模型的语义感知无人机着陆地评估：从遥感图像

Chunliang Hua, Zeyuan Yang, Lei Zhang, Jiayang Sun, Fengwen Chen, Chunlan Zeng, Xiao Hu

机构 * School of Information Science and Engineering, Southeast University（信息科学与工程学院，东南大学） ； LASER, International Digital Economy Academy（LASER，国际数字经济学院） ； Department of Electronic Engineering, East China Normal University（电子工程系，华东师范大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于多模态大语言模型的无人机着陆地评估方法，通过语义感知与多模态融合提升风险识别精度与可解释性。

GeoVLMath: Enhancing Geometry Reasoning in Vision-Language Models via Cross-Modal Reward for Auxiliary Line Creation

GeoVLMath: 通过跨模态奖励增强视觉-语言模型中的几何推理以辅助线创建

Shasha Guo, Liang Pang, Xi Wang, Yanling Wang, Huawei Shen, Jing Zhang

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Renmin University of China（中国人民大学） ； Zhipu AI（智谱AI） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 GeoVLMath通过跨模态奖励模型提升视觉-语言模型在复杂立体几何问题中的几何推理能力。

Comments 19 pages