视觉大模型 / VLM

Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning

推动多模态推理：从优化冷启动到分阶段强化学习

Shuang Chen, Yue Guo, Zhaochen Su, Yafu Li, Yulun Wu, Jiacheng Chen, Jiayu Chen, Weijie Wang, Xiaoye Qu, Yu Cheng

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Soochow University（苏州大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出ReVisual-R1，通过优化冷启动和分阶段强化学习提升多模态推理能力，在多个挑战性基准测试中取得新突破。

Comments 19 pages, 6 figures

ColorBench: Can VLMs See and Understand the Colorful World? A Comprehensive Benchmark for Color Perception, Reasoning, and Robustness

Yijun Liang, Ming Li, Chenrui Fan, Ziyue Li, Dang Nguyen, Kwesi Cobbina, Shweta Bhardwaj, Jiuhai Chen, Fuxiao Liu, Tianyi Zhou

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted by NeurIPS2025. 36 pages, including references and appendix. Code is available at https://github.com/tianyi-lab/ColorBench

VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL

Yichen Feng, Zhangchen Xu, Fengqing Jiang, Yuetai Li, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

专题命中 视觉推理 ：vision language model(abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Project page at https://visualsphinx.github.io/

Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters

Kevin Y. Li, Sachin Goyal, Joao D. Semedo, J. Zico Kolter

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Bosch Center for Artificial Intelligence（博世人工智能中心） 纠错

专题命中 视觉推理 ：vision language model(abstract)；LLaVA(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Published at ICLR 2025

What Makes a Maze Look Like a Maze?

Joy Hsu, Jiayuan Mao, Joshua B. Tenenbaum, Noah D. Goodman, Jiajun Wu

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments ICLR 2025

3D Concept Learning and Reasoning from Multi-View Images

Yining Hong, Chunru Lin, Yilun Du, Zhenfang Chen, Joshua B. Tenenbaum, Chuang Gan

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments CVPR 2023. Project page: https://vis-www.cs.umass.edu/3d-clr/

Hearsay: Vision-Language Medical Diagnoses Without an Image

Hearsay：无需图像的视觉-语言医学诊断

Siddharth Vohra

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Amazon Web Services AI Native（亚马逊网络服务AI原生部门） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract,comments)；分类 cs.CV、cs.AI

AI总结 该研究发现前沿视觉-语言模型在无图像时会基于人口统计学特征编造医学诊断，存在不同失败模式，提出需直接审计其结构化输出通道并将探针词敏感性作为核心评估维度。

Comments Peer-reviewed and presented at the 1st Workshop on Toward Trustworthy Vision-Language Models in the Wild (TrustVLM), co-located with ACM ICMR 2026, Amsterdam. Non-archival workshop. Reviews public on OpenReview. 5 pages, 2 figures

Machine Mental Imagery: Empower Multimodal Reasoning with Latent Visual Tokens

Zeyuan Yang, Xueyang Yu, Delin Chen, Maohao Shen, Chuang Gan

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 视觉推理 ：VLM(abstract,comments)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI

Comments Project page: https://vlm-mirage.github.io/

Rule-Compliant Visual Spatial Planning for Multimodal Large Language Models

面向多模态大语言模型的符合规则的视觉空间规划

Yu Chen, Ting Lei, Yaoyi Li, Jia Cai, Zhecen Wu, Yang Liu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所） ； Yinwang Intelligent Technology Co., Ltd（银湾智能科技有限公司） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 该研究针对多模态大语言模型的规则遵循空间规划问题，构建了RuleMaze基准，提出语言-逻辑-函数混合方法和解耦多模态规划（DMP），提升了规则遵循度与规划成功率。

Foveated Reasoning: Stateful, Action-based Visual Focusing for Vision-Language Models

聚焦推理：面向视觉语言模型的有状态、基于动作的视觉聚焦

Juhong Min, Lazar Valkov, Vitali Petsiuk, Hossein Souri, Deen Dayal Mohan

机构 * AI Center -- Mountain View, Samsung Electronics（三星电子山景城人工智能中心） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出Foveated Reasoner，通过整合聚焦与推理机制，提升视觉语言模型在高分辨率图像下的效率与准确性，实验证明其在多种基准测试中表现优异。

Comments ECCV 2026

PathoArgus: Advancing Evidence-Grounded Long-Context Visual Reasoning across Gigapixel Whole-Slide and Multi-Slide Case Contexts

PathoArgus：推进千兆像素全切片与多切片病例语境下基于证据的长上下文视觉推理

Bowen Liu, Qixiang Zhang, Xiaomeng Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视觉推理 ：visual reasoning(title)；grounding(abstract)；分类 cs.CV

AI总结 研究针对病理视觉推理的证据基础评估缺口，构建PathoArgus-Bench基准与ESG受控集，发现现有模型准确率高但证据基础弱，提出PathoArgus阅读器，呼吁转向证据导向的评估。

DeAR: Decentralized Agentic Reasoning via Capability Grounding and Collaborative Thought Navigation

DeAR：基于能力锚定与协作思维导航的去中心化智能体推理

Xing Wei, Changmeng Zheng, XiaoYong Wei, Xiufen Ye, Qing Li

专题命中 视觉推理 ：grounding(title,abstract)；分类 cs.AI

AI总结 针对现有智能体推理系统的路由瓶颈与静态角色分配问题，提出DeAR框架，通过三种机制实现去中心化协作，在9类基准测试中性能优于基线方法，提升了知识密集型推理任务的准确性。

Visual Reasoning in Object-Centric Deep Neural Networks: A Comparative Cognition Approach

Guillermo Puebla, Jeffrey S. Bowers

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV

Comments 16 pages, 14 figures

Journal ref 2025, Neural Networks

Post-Hoc Sparse Coding of Latent Communication Between Vision-Language Model Agents

视觉-语言模型智能体间潜在通信的事后稀疏编码

Di Wu, Xiaohui Zhu

机构 * Xi’an Jiaotong-Liverpool University（西交利物浦大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 该研究针对视觉-语言模型智能体间的潜在通信，通过事后稀疏自编码器压缩Vision Wormhole的传输数据，在保持性能的同时大幅减少了传输字节，为通信机制优化提供了方向。

Comments 9 pages, no figures

Thinking With Tools, Not With Pixels: Tool Calls as Text Scaffolds for Visual Reasoning

用工具思考，而非用像素思考：工具调用作为视觉推理的文本支架

Jiahao Shao, Yuanbo Yang, Yiyi Liao, Yujun Shen, Ceyuan Yang, Yinghao Xu

机构 * Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究提出工具调用支架假设，引入TextCall方法验证返回图像冗余，仅用结构化文本支架即可实现视觉推理，降低延迟并消除工具API调用，结论适用于现有相关基准。

Capek 0.5: An Execution-Centric Vision-Language Model for Embodied Intelligence

Capek 0.5：面向具身智能的以执行为中心的视觉语言模型

Ying Chen, Weizhen Li, Zhe Hu, Zhenjiang Li, Rui Jiang, Zhifeng Gu, Lihuang Fang, Jiangping Liu, Lei Yi, Jie Chen

机构 * Xiaopeng（小鹏汽车） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 提出以执行为中心的具身视觉语言模型Capek 0.5，通过分类法整合四类具身能力，在多维度评估中表现优于初始化模型，可迁移至闭环具身任务执行。

RSVideo: Are Your Vision-Language Models Ready for Remote Sensing Videos?

RSVideo：你的视觉-语言模型准备好应对遥感视频了吗？

Hongjie Zhou, Shiqin Wang, Haoyang Chen, Haonan Guo, Di Wang, Juhua Liu, Fu Lin, Yong Luo

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 该研究构建了遥感视频数据集RSVideo-10K与评估基准RSVideo-Bench，发现现有视觉-语言模型在遥感视频理解上存在不足，提出强化学习框架RSVideo提升小目标时空聚焦能力，取得显著性能提升。

Geo3R: Mitigating Spatial Reasoning Hallucination in Multimodal Large Language Models

Geo3R：减轻多模态大语言模型中的空间推理幻觉

Mingyu Wang, Weilin Jin, Wenbo Li, Haoyang Huang, Tong Jia, Ying Li

机构 * Peking University（北京大学） ； Joy Future Academy（京东探索研究院） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 多模态大语言模型推理空间关系易产生幻觉，现有方法效果有限。本文定义空间推理幻觉及常见场景，提出无训练的Geo3R框架，结合几何证据和结构化3D推理减轻幻觉，实验证明该框架显著减少幻觉，优于现有模型和方法。

Comments Accepted by ACM MM 2026. This is the arXiv preprint version, not the camera-ready

VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text?

VISTA-Bench: 视觉-语言模型是否真的能像纯文本一样理解可视化文本？

Qing'an Liu, Juntong Feng, Yuhao Wang, Xinzhe Han, Yujie Cheng, Yue Zhu, Haiwen Diao, Yunzhi Zhuge, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 VISTA-Bench通过对比纯文本和可视化文本问题，揭示了视觉-语言模型在处理可视化文本时的模态差距，发现模型在语义相同的情况下表现显著下降。

Comments 32 pages, 16 figures

Hierarchical Denoising For Multi-Step Visual Reasoning

用于多步视觉推理的分层去噪

Zezhong Qian, Xiaowei Chi, Chak-Wing Mak, Tianze Zhou, Ruibin Yuan, Yuhan Rui, Hengzhe Sun, Zhuoqun Wu, Yuming Li, Siyuan Qian, Sirui Han, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理技术国家重点实验室） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beihang University（北京航空航天大学） ； Fuzhou University（福州大学） ； Muka Robotics（木卡机器人） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV

AI总结 研究针对视频模型多步推理不足的问题，提出HDR框架，通过树形层次结构和稀疏分层注意力模式进行多步推理，在新基准测试中提升了成功率和进度，推理更快，数据效率更高，在机器人实验中展现潜力。

UniVR: Thinking in Visual Space for Unified Visual Reasoning

UniVR：用于统一视觉推理的视觉空间思考

Zhongwei Ren, Yunchao Wei, Yao Zhao, Weibo Gong, Xiao Liu, Anran Wang, Xiangtai Li, Xiaojie Jin

机构 * Beijing Jiaotong University（北京交通大学） ； ByteDance（字节跳动） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV

AI总结 UniVR旨在从纯视觉演示中同时学习复杂推理、物理动力学和长期规划，核心是VR-GRPO强化学习范式。构建VR-X基准进行训练和评估，在VR-X上有25%的提升，还提高了多模态理解基准性能，相关资源已开源。

Comments Code and models are released at: https://maverickren.github.io/UniVR.github.io/

Mixture of Cognitive Experts in Large Vision-Language Models

大型视觉语言模型中的认知专家混合体

Robert Wijaya, Ngai-Man Cheung

机构 * Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） 纠错

专题命中 视觉推理 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV

AI总结 研究大型视觉语言模型中多编码器专家整合难题，提出证据驱动的多模态推理框架，利用布鲁姆分类法及两阶段认知语言化，改进感知和推理能力，实现细粒度分析。

Ground3D-LMM: Fine-Grained 3D Point Grounding and Spatial Reasoning with LMM

Ground3D-LMM：基于LMM的细粒度3D点接地与空间推理

Amol Harsh, Zongyan Han, Jean Lahoud, Ye Liu, Rao Muhammad Anwer, Hisham Cholakkal, Salman Khan, Fahad Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Linköping University（林雪平大学） 纠错

专题命中 视觉推理 ：grounding(title,abstract)；分类 cs.CV

AI总结 研究3D环境自然语言查询的可操作性问题，提出Ground3D-LMM统一模型，以点云等为输入，支持3D空间对话，能给出基于点的响应和度量数值输出，通过定义新任务、引入数据集验证，为3D对话理解提供强大基线。

Comments ECCV 2026

BabyVision: Visual Reasoning Beyond Language

BabyVision：超越语言的视觉推理

Liang Chen, Weichu Xie, Yiyan Liang, Hongfeng He, Hans Zhao, Zhibo Yang, Zhiqi Huang, Haoning Wu, Haoyu Lu, Y. charles, Yiping Bao, Yuantao Fan, Guopeng Li, Haiyang Shen, Xuanzhong Chen, Wendong Xu, Shuzheng Si, Zefan Cai, Wenhao Chai, Ziqi Huang, Fangfu Liu, Tianyu Liu, Baobao Chang, Ming Wu, Xiaobo Hu, Kaiyuan Chen, Yixin Ren, Yang Liu, Yuan Gong, Kuan Li

机构 * UniPat AI ； xbench ； Alibaba Group（阿里巴巴集团） ； MoonShot AI ； StepFun ； Peking University（北京大学） ； Tsinghua University（清华大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Princeton University（普林斯顿大学） ； Nanyang Technological University（南洋理工大学） ； G Labs Equal Core Contributors（0G Labs 等核心贡献者） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV

AI总结 研究发现当代多模态语言模型依赖语言先验，在基本视觉任务上表现差。为此引入BabyVision基准评估其核心视觉能力，涵盖多任务。结果显示模型缺乏基本视觉原语，BabyVision的进展迈向人类水平视觉能力，还探索了用生成模型解决视觉推理的方法。

Comments 26 pages, Homepage at https://unipat.ai/blog/BabyVision

Towards Spatial Trace with Reasoning in Vision-Language Models for Robotics

面向机器人视觉-语言模型的具有推理能力的空间轨迹

Enshen Zhou, Yibo Li, Jingkun An, Jiayuan Zhang, Shanyu Rong, Mengzhen Liu, Yi Han, Yuheng Ji, Huajie Tan, Jiawei He, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Lu Sheng, Shanghang Zhang

专题命中 视觉推理 ：vision-language model(title)；VLM(abstract)；分类 cs.CV

AI总结 本文提出RoboTracer，一种3D感知的视觉语言模型，通过空间编码器和回归监督解码器提升空间推理能力，并结合强化学习训练实现多步度量推理，最终在复杂场景中实现高效空间轨迹生成。

Comments Accepted to ECCV 2026. Project page: https://zhoues.github.io/RoboTracer

On Test-Time Scaling for Vision-Language Models

关于视觉-语言模型的测试时扩展

Fawaz Sammani, Tzoulio Chamiti, Nikos Deligiannis

机构 * ETRO Department, Vrije Universiteit Brussel（布鲁塞尔自由大学ETRO部门） ； imec 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文系统研究了视觉-语言模型（LVLM）的测试时扩展方法，发现小型高性能模型受益最大，性能提升可达30%，并揭示了视觉信息在推理链早期编码后图像令牌贡献显著下降。

Comments ECCV 2026

VIEW2SPACE: Studying Multi-View Visual Reasoning from Sparse Observations

VIEW2SPACE：从稀疏观察研究多视角视觉推理

Fucai Ke, Zhixi Cai, Boying Li, Long Chen, Beibei Lin, Weiqing Wang, Pari Delir Haghighi, Gholamreza Haffari, Hamid Rezatofighi

机构 * Monash University（莫纳什大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV

AI总结 本文提出VIEW2SPACE基准，通过物理仿真生成高保真3D场景，评估多视角视觉推理的现状，发现多数模型表现欠佳，提出Grounded Chain-of-Thought with Visual Evidence提升性能并推广至现实数据。

Journal ref European Conference on Computer Vision (ECCV), 2026

UrbanWell: Benchmarking Multimodal Large Language Models for Spatio-Temporal Urban Wellbeing Analytics

UrbanWell: 面向时空城市福祉分析的多模态大语言模型基准测试

Yanxin Xi, Xiang Su, Jie Feng, Yu Liu, Sasu Tarkoma, Pan Hui

机构 * University of Helsinki（赫尔辛基大学） ； Zhongguancun Academy（中关村学院） ； University of Oxford（牛津大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 提出UrbanWell基准，通过卫星和街景图像联合建模，系统评估多模态大语言模型在环境、空间可达性、城市形态、活力和主观感知等5类城市福祉指标上的时空推理能力，并定义时序预测和趋势分类任务。

Comments accepted by KDD Datasets and Benchmarks Track 2026

Language-Guided Abstraction for Visual Reasoning

语言引导的视觉推理抽象

Xu-Jing Ye, Yuan-Gen Wang, Ruping Wang

机构 * School of Artificial Intelligence, Guangzhou University（广州大学人工智能学院） ； Traditional Chinese Medicine Hospital of Zengcheng District（广州市增城区中医医院） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV

AI总结 提出L-VARC框架，通过语言引导的特权信息学习分支增强视觉推理，设计语义压缩模块和交叉注意力投影器，在ARC任务上以18M参数超越现有方法。

Global-Local Monte Carlo Tree Search in Vision-Language Models for Text-to-3D Indoor Scene Generation

面向文本到3D室内场景生成的视觉-语言模型中的全局-局部蒙特卡洛树搜索

Mengshi Qi, Wei Deng, Xianlin Zhang, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, China（网络与交换技术国家重点实验室，北京邮电大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 提出一种全局-局部蒙特卡洛树搜索方法，通过分层场景表示和PRM引导的MCTS解决文本到3D室内场景生成中的错误传播问题，并构建新基准数据集3DTindo-bench。