3D 视觉

RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics

RoboSpatial: 教授机器人2D和3D视觉-语言模型空间理解能力

Chan Hee Song, Valts Blukis, Jonathan Tremblay, Stephen Tyree, Yu Su, Stan Birchfield

机构 * The Ohio State University（俄亥俄州立大学） ； NVIDIA（英伟达） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；3D vision(title)；分类 cs.CV、cs.RO

AI总结 RoboSpatial通过构建大规模空间理解数据集，提升机器人2D和3D视觉-语言模型的空间推理能力。

Comments CVPR 2025 (Oral); Project Website: https://chanh.ee/RoboSpatial

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D：用于空间理解的通用三维视觉语言模型

Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 空间理解 ：3D vision(title)；spatial understanding(title)；分类 cs.CV

AI总结 本研究提出 Qwen-3D 三维视觉语言模型，通过多视角几何线索与三维旋转位置嵌入提升空间推理，在三维任务上超越现有 3D LMM，还保持二维任务性能。

Comments Project Page: https://qwen-3d.github.io/

Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding

Evo-0：具有隐式空间理解的视觉-语言-动作模型

Tao Lin, Gen Li, Yilei Zhong, Yanwen Zou, Yuxin Du, Jiting Liu, Encheng Gu, Bo Zhao

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； EvoMind Tech（EvoMind科技） ； IAAR-Shanghai（IAAR-上海） ； University of Cambridge（剑桥大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；point cloud(abstract)；分类 cs.CV、cs.RO

AI总结 Evo-0通过隐式整合3D几何特征，提升视觉-语言-动作模型在现实世界中的空间理解能力。

SEM: Enhancing Spatial Understanding for Robust Robot Manipulation

Xuewu Lin, Tianwei Lin, Lichao Huang, Hongyu Xie, Yiwei Jin, Keyu Li, Zhizhong Su

机构 * Horizon 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；point cloud(abstract)；分类 cs.CV、cs.RO

SURPRISE3D: A Dataset for Spatial Understanding and Reasoning in Complex 3D Scenes

Jiaxin Huang, Ziwen Li, Hanlve Zhang, Runnan Chen, Xiao He, Yandong Guo, Wenping Wang, Tongliang Liu, Mingming Gong

机构 * MBZUAI ； The University of Sydney（悉尼大学） ； AI2Robotic ； Texas A&M University（德克萨斯大学） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；3D vision(abstract)；分类 cs.CV、cs.RO

NeuSE: Neural SE(3)-Equivariant Embedding for Consistent Spatial Understanding with Objects

Jiahui Fu, Yilun Du, Kurran Singh, Joshua B. Tenenbaum, John J. Leonard

专题命中 空间理解 ：spatial understanding(title,abstract)；point cloud(abstract)；分类 cs.CV、cs.RO

Comments 15 Pages and 12 figures. Accepted to RSS 2023. Project webpage: https://neuse-slam.github.io/neuse/

SUM-AgriVLN: Spatial Understanding Memory for Agricultural Vision-and-Language Navigation

SUM-AgriVLN：面向农业视觉语言导航的空间理解记忆

Xiaobei Zhao, Xingqi Lyu, Xin Chen, Xiang Li

机构 * China Agricultural University（中国农业大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；3D reconstruction(abstract)；分类 cs.RO

AI总结 针对现有农业视觉语言导航方法忽视重复指令的空间记忆潜力的局限，提出SUM模块并集成至AgriVLN构建SUM-AgriVLN，在A2A基准上将SR从0.47提至0.54，NE仅微增，达领域顶尖性能。

Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

Stream3D-VLM：基于增量几何先验的在线3D空间理解

Hanxun Yu, Xuan Qu, Lei Ke, Boqiang Zhang, Yuxin Wang, Jianke Zhu, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文汇） ； HKUST（香港科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；3D vision(abstract)；分类 cs.CV

AI总结 提出在线3D视觉语言模型Stream3D-VLM，通过自回归流控制、轻量视觉-空间特征融合模块和几何自适应体素压缩，实现从流式视频中实时理解3D空间，并构建超百万在线3D问答数据集，在多项任务上超越现有模型。

Comments Project Page: https://stream3d-vlm.github.io/

D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation

D3D-VLP：动态3D视觉-语言-规划模型用于具身接地与导航

Zihan Wang, Seungjun Lee, Guangzhao Dai, Gim Hee Lee

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 空间理解 ：3D vision(title,abstract)；分类 cs.CV、cs.RO

AI总结 D3D-VLP通过动态3D链式思维和协同学习策略，实现具身接地与导航的高效统一，提升多任务导航性能。

SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene Understanding

Baoxiong Jia, Yixin Chen, Huangyue Yu, Yan Wang, Xuesong Niu, Tengyu Liu, Qing Li, Siyuan Huang

专题命中 空间理解 ：3D vision(title,abstract)；分类 cs.CV、cs.RO

Comments ECCV 2024

PinpointQA: A Benchmark for Small Object-Centric Spatial Understanding in Indoor Videos

PinpointQA: 一个用于室内视频中微小物体中心空间理解的数据集和基准

Zhiyu Zhou, Peilin Liu, Ruoxuan Zhang, Luyang Zhang, Cheng Zhang, Hongxia Xie, Wen-Huang Cheng

机构 * Jilin University（吉林大学） ； National Taiwan University（国立台湾大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 本文提出PinpointQA数据集，用于评估多模态大语言模型在室内视频中对微小物体空间定位的精准理解能力，通过四个递进任务验证模型性能，并展示其作为诊断基准和训练数据集的效果。

Comments Accepted at the ECCV 2026 Workshop on Embodied Multimodal Reasoning in Physical Environments (EMR)

Stitch and Tell: A Structured Multimodal Data Augmentation Method for Spatial Understanding

拼接与讲述：一种结构化多模态数据增强方法用于空间理解

Hang Yin, Xiaomin He, PeiWen Yuan, Yiwei Li, Jiayi Shi, Wenxiao Fan, Shaoxiong Feng, Kan Li

机构 * School of Computer Science, Beijing Institute of Technology（北京理工大学计算机科学学院） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 Stitch and Tell通过结构化空间监督提升视觉-语言模型的空间理解能力，有效缓解空间幻觉并提高相关任务性能。

Journal ref Advances in Neural Information Processing Systems 38 (NeurIPS 2025)

Do Maps Still Matter for Machines: Revisiting the Role of Choropleth Maps in Foundation Model Spatial Understanding

地图对机器来说仍然重要吗：重新审视分级统计图在基础模型空间理解中的作用

Zhiwei Wei, Yonghe Sun, Zhenjia Liu, Wenjia Xu, Chao He, Weihua Dong, Chunbo Liu, Hua Liao

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 研究探讨分级统计图对基础模型空间理解的作用，引入ChoroplethMap-Bench基准，在三种输入条件下评估22个模型，发现地图能显著提升空间推理，尤其结合符号数据及高层次空间模式理解任务时，证明地图是基础模型空间推理的重要外部表示。

Comments 34 pages, 4 figures, and 10 tables

Beyond Single Expert: Harmonizing Diverse Visual Priors in MLLMs for Spatial Understanding

超越单一专家：在多模态大语言模型中协调多样视觉先验以实现空间理解

Xiao Lin, Xiaohu Huang, Kai Han

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 研究旨在提升多模态大语言模型的空间理解能力，提出ViPS框架，通过高效先验代理和动态先验融合机制，整合不同模型的视觉先验，经实验验证该框架能协调多样先验，在多基准测试中取得新的最优性能。

RoadBench: Benchmarking MLLMs on Fine-Grained Spatial Understanding and Reasoning under Urban Road Scenarios

RoadBench: 在城市道路场景下对多模态大语言模型进行细粒度空间理解与推理的基准测试

Jun Zhang, Xin Zhang, Jie Feng, Long Chen, Junhui Wang, Zhicheng Liu, Depeng Jin, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University（清华大学电子工程系、北京信息科学与技术国家研究中心） ； Zhongguancun Academy（中关村学院） ； Amap, Alibaba Group（阿里巴巴集团高德地图） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 针对城市复杂场景中多模态大语言模型在细粒度空间理解与推理能力上的不足，提出RoadBench基准，包含8个任务、3040个测试用例，通过鸟瞰图和第一人称视角图像评估模型性能，揭示现有模型在此类任务上的显著缺陷。

Comments Accepted by ECCV 2026, the code and data are publicly available at: https://github.com/tsinghua-fib-lab/RoadBench

GroundSet: A Cadastral-Grounded Dataset for Spatial Understanding with Vector Data

GroundSet: 基于地籍数据的空间理解向量数据集

Roger Ferrod, Maël Lecene, Krishna Sapkota, George Leifman, Vered Silverman, Genady Beryozkin, Sylvain Lobry

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 针对多模态大模型在遥感精细空间理解上的不足，提出基于地籍矢量数据的大规模数据集，含510k高分辨率图像和380万标注对象，通过指令微调基准验证，标准架构可掌握细粒度空间定位。

Multi-SpatialMLLM: Multi-Frame Spatial Understanding with Multi-Modal Large Language Models

Multi-SpatialMLLM: 多模态大语言模型的多帧空间理解

Runsen Xu, Weiyao Wang, Hao Tang, Xingyu Chen, Xiaodong Wang, Fu-Jen Chu, Matt Feiszli, Kevin J. Liang

机构 * FAIR, Meta（FAIR，Meta） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 提出一种框架，通过整合深度感知、视觉对应和动态感知等基本空间技能，使多模态大语言模型具备多帧空间理解能力，并构建MultiSPA数据集和基准测试，模型Multi-SpatialMLLM在多项任务上取得显著提升。

Comments CVPR 2026 Camera Ready. 27 pages. Project page: https://runsenxu.com/projects/Multi-SpatialMLLM

MMLANDMARKS: a Cross-View Instance-Level Benchmark for Geo-Spatial Understanding

MMLANDMARKS: 一种用于地理空间理解的跨视图实例级基准

Oskar Kristoffersen, Alba Reinders Sánchez, Morten Rieger Hannemose, Anders Bjorholm Dahl, Dim P. Papadopoulos

机构 * Technical University of Denmark（丹麦技术大学） ； Pioneer Center for AI（先锋人工智能中心） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 本文提出MMLandmarks基准，包含四类数据：高分辨率航拍图、地面视图、文本信息和地理坐标，用于跨视图地物检索、定位及文本到图像等任务，揭示多模态数据对地理空间理解的重要性。

Comments Accepted at CVPR 2026

HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models

HiSpatial：在视觉-语言模型中驯服层次化3D空间理解

Huizhi Liang, Yichao Shen, Yu Deng, Sicheng Xu, Zhiyuan Feng, Tong Zhang, Yaobo Liang, Jiaolong Yang

机构 * Tsinghua University（清华大学） ； Microsoft Research Asia（微软亚洲研究院） ； Xi’an Jiaotong University（西安交通大学） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 本文提出一种层次化框架，通过分解VLM中3D空间理解的学习过程，从几何感知到抽象空间推理，生成多样化任务和场景的3D空间VQA对，提升视觉-语言模型的空间理解能力。

Comments Accepted by CVPR 2026. Project page: https://microsoft.github.io/HiSpatial

GeoDiT: A Diffusion-based Vision-Language Model for Geospatial Understanding

GeoDiT：一种基于扩散的视觉-语言模型，用于地理空间理解

Jiaqi Liu, Ronghao Fu, Haoran Liu, Lang Sun, Bo Yang

机构 * College of Computer Science and Technology, Jilin University, Changchun 130012, China（吉林大学计算机科学与技术学院，长春 130012，中国） ； Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 本文提出GeoDiT，一种基于扩散的视觉-语言模型，用于地理空间理解。该模型通过并行细化过程实现整体粗到细的合成，解决了传统自回归模型在结构化输出生成中的不足。

Enhancing Spatial Understanding in Image Generation via Reward Modeling

通过奖励建模增强图像生成中的空间理解

Zhenyu Tang, Chaoran Feng, Yufan Deng, Jie Wu, Xiaojie Li, Rui Wang, Yunpeng Chen, Daquan Zhou

机构 * Peking University（北京大学） ； ByteDance Seed（字节跳动种子） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 本文提出SpatialScore奖励模型，通过增强空间理解能力提升图像生成的质量和效果。

Comments Accepted at CVPR 2026. Github: https://github.com/DAGroup-PKU/SpatialT2I Project website: https://dagroup-pku.github.io/SpatialT2I/

TraceVision: Trajectory-Aware Vision-Language Model for Human-Like Spatial Understanding

TraceVision: 一种具有轨迹感知能力的视觉-语言模型，用于类人空间理解

Fan Yang, Shurong Zheng, Hongyin Zhao, Yufei Zhan, Xin Li, Yousong Zhu, Chaoyang Zhao Ming Tang, Jinqiao Wang

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 TraceVision通过整合轨迹感知的空间理解，实现了类人空间认知，提升视觉-语言模型在轨迹引导任务中的表现。

LRR-Bench: Left, Right or Rotate? Vision-Language models Still Struggle With Spatial Understanding Tasks

LRR-Bench：左、右还是旋转？视觉-语言模型在空间理解任务上仍面临挑战

Fei Kong, Jinhao Duan, Kaidi Xu, Zhenhua Guo, Xiaofeng Zhu, Xiaoshuang Shi

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Drexel University（德雷塞尔大学） ； Tianyijiaotong Technology Ltd.（天奕交通技术有限公司） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 LRR-Bench通过合成数据评估视觉-语言模型在空间理解任务上的性能，发现其在复杂任务上的表现远低于人类水平。

Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models

在4D中学习推理：面向视觉语言模型的动态空间理解

Shengchao Zhou, Yuxin Chen, Yuying Ge, Wei Huang, Jiehong Lin, Ying Shan, Xiaojuan Qi

机构 * The University of Hong Kong（香港大学） ； ARC Lab, Tencent PCG（腾讯PCG实验室） 纠错

专题命中 空间理解 ：spatial understanding(title)；point cloud(abstract)；分类 cs.CV

AI总结 本研究提出DSR套件，通过生成多选题-答案对和轻量级几何选择模块提升视觉语言模型的动态空间推理能力。

Lemon: A Unified and Scalable 3D Multimodal Model for Universal Spatial Understanding

Lemon：一种统一且可扩展的3D多模态模型用于通用空间理解

Yongyuan Liang, Xiyao Wang, Yuanchen Ju, Jianwei Yang, Furong Huang

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 空间理解 ：spatial understanding(title)；point cloud(abstract)；分类 cs.CV

AI总结 Lemon提出一种统一的Transformer架构，通过联合处理3D点云块和语言标记，实现空间-语言融合，提升3D多模态模型的可扩展性和性能。

Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning

Spatial-SSRL: 通过自监督强化学习增强空间理解

Yuhong Liu, Beichen Zhang, Yuhang Zang, Yuhang Cao, Long Xing, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 Spatial-SSRL通过自监督强化学习提升大视觉-语言模型的空间理解能力，无需人工标注，在多个基准测试中取得显著准确率提升。

Comments preprint

Spatial Preference Rewarding for MLLMs Spatial Understanding

Han Qiu, Peng Gao, Lewei Lu, Xiaoqin Zhang, Ling Shao, Shijian Lu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； Sensetime Research（商汤科技研究院） ； Zhejiang University of Technology（浙江工业大学） ； UCAS-Terminus AI Lab,University of Chinese Academy of Sciences（中国科学院大学Terminus AI实验室） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

Comments ICCV 2025

Prompt-Guided Spatial Understanding with RGB-D Transformers for Fine-Grained Object Relation Reasoning

Tanner Muturi, Blessing Agyei Kyem, Joshua Kofi Asamoah, Neema Jakisa Owor, Richard Dyzinela, Andrews Danyo, Yaw Adu-Gyamfi, Armstrong Aboah

机构 * University of Missouri–Columbia（密苏里大学哥伦比亚分校） ； North Dakota State University（北达科他州立大学） ； Texas A&M（德克萨斯农工大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

Comments The paper was accepted at ICCV Conference 2025

Spatial Reasoning in Foundation Models: Benchmarking Object-Centric Spatial Understanding

Vahid Mirjalili, Ramin Giahi, Sriram Kollipara, Akshay Kekuda, Kehui Yao, Kai Zhao, Jianpeng Xu, Kaushiki Nag, Sinduja Subramaniam, Topojoy Biswas, Evren Korpeoglu, Kannan Achan

机构 * Walmart Global Tech（沃尔玛全球科技） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

Comments 4 pages, NeurIPS Workshop SpaVLE

Spatial Understanding from Videos: Structured Prompts Meet Simulation Data

Haoyu Zhang, Meng Liu, Zaijing Li, Haokun Wen, Weili Guan, Yaowei Wang, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Shandong Jianzhu University（山东建筑大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025 as a Spotlight