视觉大模型 / VLM

SciVerse: Unveiling the Knowledge Comprehension and Visual Reasoning of LMMs on Multi-modal Scientific Problems

Ziyu Guo, Ray Zhang, Hao Chen, Jialin Gao, Dongzhi Jiang, Jiaze Wang, Pheng-Ann Heng

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.AI

Comments Initially released in September 2024. Project page: https://sciverse-cuhk.github.io

Enhancing Vision-Language Models with Scene Graphs for Traffic Accident Understanding

Aaron Lohner, Francesco Compagno, Jonathan Francis, Alessandro Oltramari

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.AI

Comments Won the 'Best Paper Runner-up Award' at the 2024 IEEE International Automated Vehicle Validation Conference (IAVVC 2024). Also accepted at the 1st Workshop on Semantic Reasoning and Goal Understanding in Robotics, at the Robotics Science and Systems Conference (RSS SemRob 2024)

StreetviewLLM: Extracting Geographic Information Using a Chain-of-Thought Multimodal Large Language Model

Zongrong Li, Junhao Xu, Siqin Wang, Yifan Wu, Haiyang Li

专题命中 视觉推理 ：multimodal large language model(title)；分类 cs.CV、cs.AI

NavGPT-2: Unleashing Navigational Reasoning Capability for Large Vision-Language Models

Gengze Zhou, Yicong Hong, Zun Wang, Xin Eric Wang, Qi Wu

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.AI

Comments Accepted to ECCV 2024

BLINK: Multimodal Large Language Models Can See but Not Perceive

Xingyu Fu, Yushi Hu, Bangzheng Li, Yu Feng, Haoyu Wang, Xudong Lin, Dan Roth, Noah A. Smith, Wei-Chiu Ma, Ranjay Krishna

专题命中 视觉推理 ：multimodal large language model(title)；分类 cs.CV、cs.AI

Comments Multimodal Benchmark, Project Url: https://zeyofu.github.io/blink/, ECCV 2024

Don't Trust: Verify -- Grounding LLM Quantitative Reasoning with Autoformalization

Jin Peng Zhou, Charles Staats, Wenda Li, Christian Szegedy, Kilian Q. Weinberger, Yuhuai Wu

专题命中 视觉推理 ：grounding(title)；分类 cs.AI、cs.LG

Comments ICLR 2024

What's "up" with vision-language models? Investigating their struggle with spatial reasoning

Amita Kamath, Jack Hessel, Kai-Wei Chang

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.LG

Comments EMNLP 2023

Abstract Visual Reasoning Enabled by Language

Giacomo Camposampiero, Loic Houmard, Benjamin Estermann, Joël Mathys, Roger Wattenhofer

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.AI、cs.LG

Comments The first two authors have contributed equally to this work. Accepted as regular paper at CVPR 2023 Workshop and Challenges for New Frontiers in Visual Language Reasoning: Compositionality, Prompts and Causality (NFVLR)

lilGym: Natural Language Visual Reasoning with Reinforcement Learning

Anne Wu, Kianté Brantley, Noriyuki Kojima, Yoav Artzi

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.AI、cs.LG

Comments ACL 2023 Long Paper

Abstract Visual Reasoning: An Algebraic Approach for Solving Raven's Progressive Matrices

Jingyi Xu, Tushar Vaidya, Yufei Wu, Saket Chandra, Zhangsheng Lai, Kai Fong Ernest Chong

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.AI

Comments Accepted at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2023. 30 pages, 7 figures (including supplementary material). First three authors contributed equally. Code is available at: https://github.com/Xu-Jingyi/AlgebraicMR

Analysis of Visual Reasoning on One-Stage Object Detection

Tolga Aksoy, Ugur Halici

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.LG

Comments Submitted to IEEE International Conference on Image Processing (ICIP) 2022

Differentiable Adaptive Computation Time for Visual Reasoning

Cristobal Eyzaguirre, Alvaro Soto

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.AI、cs.LG

Comments CVPR 2020

Are Disentangled Representations Helpful for Abstract Visual Reasoning?

Sjoerd van Steenkiste, Francesco Locatello, Jürgen Schmidhuber, Olivier Bachem

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.LG

Comments Accepted to NeurIPS 2019

ChartNet: Visual Reasoning over Statistical Charts using MAC-Networks

Monika Sharma, Shikha Gupta, Arindam Chowdhury, Lovekesh Vig

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.LG

Journal ref International Joint Conference on Neural Networks (IJCNN) 2019

Towards Explainable Neural-Symbolic Visual Reasoning

Adrien Bennetot, Jean-Luc Laurent, Raja Chatila, Natalia Díaz-Rodríguez

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.AI、cs.LG

Comments Accepted at IJCAI19 Neural-Symbolic Learning and Reasoning Workshop (https://sites.google.com/view/nesy2019/home)

Visual Reasoning with Multi-hop Feature Modulation

Florian Strub, Mathieu Seurin, Ethan Perez, Harm de Vries, Jérémie Mary, Philippe Preux, Aaron Courville, Olivier Pietquin

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.LG

Comments In Proc of ECCV 2018

Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL

Co-RL：多智能体强化学习中多样群体涌现的无监督推理

Yunhao Yang, Yuexin Bian, Yunjie Tian, Di Fu, Tianjin Huang, Yuanyuan Shi, Ziang Xiao, Nuno Vasconcelos, Yijiang Li

机构 * University of Exeter（埃克塞特大学） ； ByteDance（字节跳动） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究提出Co-RL框架，通过参数不共享的多智能体协作训练，利用同伴奖励减少对真实标注的依赖，提升纯文本及多模态任务的推理性能，缓解训练崩溃与响应同质化问题。

Comments 30 pages, 5 figures, 11 tables

Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models

放大并不意味着具有预测性：思考模型中的推理行为

Jean de Dieu Nyandwi, Leena Mathur, Yonatan Bisk, Robert Hawkins, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Stanford University（斯坦福大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 该研究揭示思考模型存在“放大-提升差距”，即面向推理的训练放大了与正确性关联弱的推理行为，却未放大高提升值的关键行为，推动了过程级推理目标的研究。

Comments Published in COLM 2026

When Prompts Ignore Structure: Graph-Based Attribute Reasoning for Calibrated VLMs

当提示忽略结构时：基于图的属性推理用于校准视觉语言模型

Tanay Sodha, Aditya Sharma, Ramya Hebbalaguppe, Vinti Agarwal, Pranav Murthy Yeluripaty

机构 * Birla Institute of Technology and Science, Pilani（贝拉科技与科学学院皮拉尼分校） ； TCS Research（塔塔咨询服务公司研究院） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究视觉语言模型测试时自适应中可靠置信度估计问题，提出ARGTCA方法，将（类，属性）对表示为符号属性图节点，用对比目标训练图注意力网络，引入两种属性选择策略，实验证明该方法能有效降低校准误差。

Artificial Intelligence for Mathematical Reasoning: An Integrated Survey of Language Models, Neuro-symbolic Systems, and Verified Discovery

人工智能数学推理：语言模型、神经符号系统与验证发现的综合综述

Syed Rifat Raiyan, Mohsinul Kabir, Hasan Mahmud, Md Kamrul Hasan, Sophia Ananiadou

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

专题命中 视觉推理 ：VLM(abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文综述了数学推理领域从早期规则系统到当代推理模型、多智能体系统及验证发现工作流的演变，沿非正式推理、形式推理、数学发现及推理技术四轴组织，并评估了基准测试、失败模式及未来方向。

Comments Under review, 47 pages, 14 figures, 22 tables

WorldScape Policy 2.0: Empowering Steerable World Action Modeling with Reasoning-Augmented Memory

WorldScape Policy 2.0：通过推理增强记忆实现可控的世界行动建模

Haisheng Su, Zongdai Liu, Xin Jin, Haoxuan Dou, Chengming Hu, Baorun Li, Zhanwang Liu, Ruiyan Xu, Jianjie Fang, Xin Zhang, Zhenjie Yang, Xue Yang, Chen Gao, Junchi Yan, Yong Li, Wei Wu

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；grounding(abstract)

AI总结 研究针对现有世界行动模型的局限，提出WorldScape Policy 2.0，用推理增强记忆，构建相关数据集，实现从高级指令自主规划及基于细粒度文本等的可控执行，在模拟和现实平台实验中展现出在多方面的卓越能力。

Think, Plan, Paint: Layout-Aware Reasoning for Controllable Image Generation in Unified Models

思考、规划、绘制：统一模型中用于可控图像生成的布局感知推理

Junhao Liu, Jian-Wei Zhang, Tao Huang, Miles Yang, Zhao Zhong, Liefeng Bo

机构 * Tencent（腾讯） ； Peking University（北京大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究针对统一多模态大语言模型在可控图像生成中难以遵循复杂空间指令的问题，提出ATLAS框架，采用“思考、规划、绘制”范式及布局共享表示，经强化学习提升性能，在图像生成等任务中效果显著，还支持相关编辑与多模态基础，并引入评估基准。

Comments 22 pages, 12 figures, 9 tables

An Exam for Active Observers

主动观察者的测试

Jiarui Zhang, Muzi Tao, Shangshang Wang, Ollie Liu, Xuezhe Ma, Willie Neiswanger

机构 * University of Southern California（南加州大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究多模态大语言模型是否具备主动观察能力，引入ActiveVision基准测试，发现前沿模型表现不佳，即便能编写视觉代码差距仍存，表明当前模型缺乏主动视觉观察，呼吁构建闭合感知 - 推理循环的架构和训练目标。

Comments 17 pages, 8 figures, 4 tables. Project page: https://activevision.dev

Vision-Language Procedural Reasoning for Context-Aware Reward Modeling of Robotic Endovascular Guidewire Navigation

面向机器人血管内导丝导航的视觉-语言程序化推理与上下文感知奖励建模

Wentong Tian, Jiyuan Zhao, Tianliang Yao, Yuxiang Fan, Zhengyu Shi, Dong Liu, Peng Qi

机构 * Department of Control Science and Engineering, College of Electronic and Information Engineering, and Shanghai Institute of Intelligent Science and Technology, Tongji University（同济大学电子与信息工程学院控制科学与工程系，以及上海智能科学与技术研究院） ； Department of Electronic Engineering, Faculty of Engineering, The Chinese University of Hong Kong（香港中文大学工程学院电子工程系） ； Shanghai Operation Robot Co., Ltd.（上海微创医疗机器人（集团）股份有限公司） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 提出视觉-语言程序化推理框架，利用多模态大模型实时理解视觉上下文，动态调整奖励权重，实现单策略适应复杂血管导航任务，提升可靠性与效率。

Comments This paper has been accepted by IEEE/RSJ IROS 2026. 7 pages, 4 figures, 2 tables

EVLA: An Electro-Aware Multimodal Assistant for Physically-Grounded Driving Reasoning and Control

EVLA：一种用于物理接地驾驶推理与控制的电感知多模态助手

Yuxin Liu, Zihan Chen, Haoyu Wang, Mingxuan Zhang, Ruijie Lin, Siyuan Zhao

机构 * College of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出EVLA框架，融合视觉、文本与实时电动动力总成状态，通过统一共状态编码器和电感知结构化推理链，生成上下文感知且能量最优的驾驶决策，在驾驶问答基准上显著优于基线模型。

Comments 17 pages

From Recognition to Understanding: Unlocking Cognitive Time Series Reasoning with LLMs

从识别到理解：利用LLM解锁认知时间序列推理

Xin Qiu, Junlong Tong, Yao Zhang, Yunpu Ma, Wei Zhang, Xiaoyu Shen

机构 * Institute of Digital Twin, Eastern Institute of Technology（东方理工数字孪生研究所） ； Zhejiang University（浙江大学） ； Munich Center for Machine Learning, LMU（慕尼黑机器学习中心，慕尼黑大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；grounding(abstract)

AI总结 针对现有时间序列任务与LLM能力不匹配的问题，提出多模态基准TSCognition和统一框架TSAlign，通过认知推理任务和语义对齐提升LLM的时间序列推理性能。

Multi-Robot Motion Planning from Vision and Language using Heat-Inspired Diffusion

基于热启发的扩散模型实现从视觉和语言的多机器人运动规划

Jebeom Chae, Junwoo Chang, Seungho Yeom, Yujin Kim, Jongeun Choi

机构 * Department of Artificial Intelligence, Yonsei University（燕山大学人工智能学院） ； School of Mechanical Engineering, Yonsei University（燕山大学机械工程学院） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出LHD框架，结合CLIP语义先验与碰撞避免扩散核，实现语言条件化的多机器人无碰撞轨迹规划，在成功率上优于先前方法并降低延迟。

Comments 8 pages, 6 figures, accepted by IEEE Robotics and Automation Letters (RA-L)

Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 6, pp. 7118-7125, June 2026

Bridging Short Videos and Live Streams: Reasoning-Guided Multimodal LLMs for Cross-Domain Representation Learning

连接短视频与直播：推理引导的多模态大语言模型用于跨域表示学习

Le Zhang, Xiaolan Zhu, Yuchen Wang, Shilong Kang, Jiaqi Xue, Xiaoyu Zhang, Xiang Chen, Yalong Guan, Xiangyu Wu, Shijun Wang, Lantao Hu, Kun Gai

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 针对短视频到直播的跨域推荐冷启动问题，提出推理引导的跨域表示学习框架RGCD-Rep，利用多模态大语言模型生成结构化推理知识并蒸馏到轻量模型，通过两阶段训练学习可迁移的物品表示，在快手部署后显著提升核心业务指标。

Comments 9 pages

HCSG: Human-Centric Semantic-Geometric Reasoning for Vision-Language Navigation

HCSG：以人类为中心的语义-几何推理用于视觉-语言导航

Haoxuan Xu, Tianfu Li, Wenbo Chen, Yi Liu, Jin Wu, Huashuo Lei, Yunfan Lou, Lujia Wang, Hesheng Wang, Haoang Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Tsinghua University（清华大学） ； University of Science and Technology Beijing（北京科技大学） ； National University of Singapore（新加坡国立大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 HCSG提出了一种以人类为中心的框架，通过结合几何预测和语义解释，提升动态环境中视觉-语言导航的安全性和社交智能。

AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward

AlphaGRPO：通过分解性可验证奖励解锁UMMs中的自反思多模态生成

Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 AlphaGRPO通过分解性可验证奖励提升多模态生成能力，实现文本到图像生成和自反思修正，验证了自反思强化方法在生成高质量输出中的有效性。

Comments ICML2026