3D 视觉

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D：用于空间理解的通用三维视觉语言模型

Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 空间理解 ：3D vision(title)；spatial understanding(title)；分类 cs.CV

AI总结 本研究提出 Qwen-3D 三维视觉语言模型，通过多视角几何线索与三维旋转位置嵌入提升空间推理，在三维任务上超越现有 3D LMM，还保持二维任务性能。

Comments Project Page: https://qwen-3d.github.io/

Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

Stream3D-VLM：基于增量几何先验的在线3D空间理解

Hanxun Yu, Xuan Qu, Lei Ke, Boqiang Zhang, Yuxin Wang, Jianke Zhu, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文汇） ； HKUST（香港科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；3D vision(abstract)；分类 cs.CV

AI总结 提出在线3D视觉语言模型Stream3D-VLM，通过自回归流控制、轻量视觉-空间特征融合模块和几何自适应体素压缩，实现从流式视频中实时理解3D空间，并构建超百万在线3D问答数据集，在多项任务上超越现有模型。

Comments Project Page: https://stream3d-vlm.github.io/

Beyond Single Expert: Harmonizing Diverse Visual Priors in MLLMs for Spatial Understanding

超越单一专家：在多模态大语言模型中协调多样视觉先验以实现空间理解

Xiao Lin, Xiaohu Huang, Kai Han

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 空间理解 ：spatial understanding(title,abstract)；分类 cs.CV

AI总结 研究旨在提升多模态大语言模型的空间理解能力，提出ViPS框架，通过高效先验代理和动态先验融合机制，整合不同模型的视觉先验，经实验验证该框架能协调多样先验，在多基准测试中取得新的最优性能。

Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding

Occ-VLM: 面向室内场景理解的占用接地视觉语言模型

Jianing Li, Zhou Fang, Yijiang Liu, Li Du

机构 * School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院） 纠错

专题命中 空间理解 ：3D vision(abstract)；point cloud(abstract)；分类 cs.CV

AI总结 提出Occ-VLM，仅用姿态RGB图像和单一2D视觉编码器，通过重建3D占用作为几何先验，实现统一的3D场景理解，在占用预测、3D VQA和密集描述任务上达到领先水平。

GeoHAT: Geometry-Adaptive Hybrid Action Transformer for Mobile Manipulation

GeoHAT: 几何自适应混合动作Transformer用于移动操作

Xiangyu Zhu, Renjun Wu, Luzhou Ge, Jinyan Liu, Xuesong Li

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 空间理解 ：3D vision(abstract)；spatial understanding(abstract)；分类 cs.RO

AI总结 提出GeoHAT框架，通过轻量级傅里叶空间编码器注入几何信息，并采用混合全身动作解码器分解机械臂与基座动作，在ManiSkill-HAB基准上成功率提升23.7%。

HoloAgent-0: A Unified Embodied Agent Framework with 3D Spatial Memory

HoloAgent-0：具有3D空间记忆的统一具身智能体框架

Xiaolin Zhou, Liu Liu, Tingyang Xiao, Wei Feng, Fa Fu, Xinrui Meng, Xinjie Wang, Jialiang Han, Boyang Yu, Yun Du, Wei Sui, Zhizhong Su

机构 * Horizon Robotics ； D-Robotics Robotics 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV、cs.RO

AI总结 提出HoloAgent-0统一框架，通过三层耦合结构（具身AgentOS、3D空间记忆、具身技能）实现真实机器人闭环执行，在长程导航、跨机器人协调等任务上验证有效性。

SCOUT: Unlocking Enhanced Spatial Reasoning via Structured Chain-of-Thought and Multi-Objective Process Reward

SCOUT：通过结构化思维链与多目标过程奖励解锁增强型空间推理能力

Zile Zhou, Huining Yuan, Weichen Zhang, Xinlei Chen, Xiao-ping Zhang

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 SCOUT是结合结构化思维链与多目标过程奖励的视觉-语言模型，通过定制数据集训练，在空间推理任务上超越基线模型与GPT-4o，且具备跨图像、视频的泛化能力。

Comments 26 pages, 5 figures

Chain of Spatial Thoughts: Modality-Agnostic Spatial Grounding for Vision Language Models

空间思维链：面向视觉语言模型的模态无关空间定位

Hunter Schofield, Mohammed Elmahgiubi, Mohammad Mahdavian, Richard Shi, Jinjun Shan, Amir Rasouli, Dongfeng Bai

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 该研究提出轻量架构无关框架Space Tokens，将空间信息蒸馏为连续token融入VLMs的思维链，在VSI-Bench上提升两款模型性能，在尺寸估计任务达SOTA，实现高效空间推理。

Multimodal Model Diffing for Feature Discovery and Control

用于特征发现与控制的多模态模型差异分析

Hunar Batra, Lachin Naghashyar, Ashkan Khakzar, Philip Torr, Christian Schroeder de Witt, Constantin Venhoff, Ronald Clark

机构 * University of Oxford（牛津大学） ； Microsoft（微软公司） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 本研究提出MMDiff多模态模型差异分析框架，训练多模态SAEs以识别多模态训练改变的特征，实现特征隔离、检测与控制，在空间、OCR任务及多模态安全攻击评估中展现出良好效果。

Comments Preprint. Accepted at ICML 2026 Trustworthy AI for Good Workshop

From Recovery to Drop-off: How Action Post-training Reduces a VLM's Late-Layer Depth Decodability

从恢复到骤降：动作后训练如何降低视觉语言模型的深层解码能力

Alexander Hackett, Arnaud Denis-Remillard, Axel Cassou

机构 * New York University（纽约大学） ； Reflex ； Université de Montréal（蒙特利尔大学） ； Maastricht University（马斯特里赫特大学） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 该研究探究动作后训练对VLM空间理解的影响，发现VLA存在深层解码能力的“基底”差距与“悬崖”骤降，定位其源于深层MLP干扰，消融该模块可恢复多数解码性能。

Comments Accepted to the archival proceedings track of the Embodied Multimodal Reasoning (EMR) Workshop at ECCV 2026

Explore, Map, Remember, Decide: Are Embodied VLMs Ready for Safety-Critical Scenarios?

探索、建图、记忆、决策：具身视觉语言模型是否已准备好应对安全关键场景？

Gabriele La Malfa, Nitay Alon, Emanuele La Malfa, Reuth Mirsky, Stefan Sarkadi

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.RO

AI总结 本文扩展ToS框架为EMRD流程，评估VLMs在安全关键场景下的空间理解与决策能力，发现其决策依赖文本先验、空间推理受低光照影响，且记忆与人类认知存在根本差异，存在对齐风险。

Advantage-Guided Gate: Reshaping Open-Ended Reasoning for Vision-Based Spatial Intelligence

优势引导门：重塑基于视觉的空间智能的开放式推理

Ling Lin, Yang Bai, Congcong Zhu, Jiangming Shi, Meng Wang, Yang Long, Jingrun Chen, Ling Shao, Huazhu Fu

机构 * University of Science and Technology of China（中国科学技术大学） ； Suzhou Institute for Advanced Research, USTC（中国科学技术大学苏州高等研究院） ； Institute of Advanced Intelligence and Computing (IAIC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高级智能与计算研究所） ； East China Normal University（华东师范大学） ； National University of Singapore（新加坡国立大学） ； Durham University（杜伦大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 本文针对MLLMs开放式推理易出错的问题，提出优势引导门框架，结合蒙特卡洛价值评估与两类优势门，构建Reasoning-Tree-160k数据集并经两阶段学习，有效提升了基准MLLMs的视觉空间推理性能。

Enhanced Real-Time 6-DOF Extended Reality Catheter Tracking for Evaluating Potential Improvement in Efficiency, Precision, and Depth Perception for Cardiac Interventions

用于评估心脏介入效率、精度和深度感知潜在提升的增强型实时六自由度扩展现实导管跟踪技术

Mohsen Annabestani, Sandhya Sriram, Andrew Kuzemczak, S. Chiu Wong, Alexandros Sigaras, Bobak Mosadegh

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.RO

AI总结 本研究开发基于XR的实时6-DOF导管跟踪平台，经20名医学生测试，其可使心脏介入操作速度提升超5倍、导管移动距离减约5倍，还能提高精度、降低变异性，优化操作体验。

Depth-Guided Video Object Counting in Crowded Scenes

拥挤场景中基于深度引导的视频目标计数

Yuanjing Xu, Xinyan Liu, Weidong Chen, Zixuan Zou, Linhao Zhang, Zhuangzhe Meng, Antoni B. Chan, Weigang Zhang

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 该研究针对拥挤场景视频目标计数的局限性，提出DG-Det与后处理流水线、去重框架，发布新数据集，使MAE降62.01%且RMSE提升。

Comments Accepted at ACM Multimedia 2026

GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?

GST-Bench：视觉语言模型能否从视频中发展出全局空间感知能力？

Qifeng Zhang, Kaixiang Huang, Heng Dong, Huang Fang, Junting Chen, Junjie Zhu, Yonghang Chen, Zhiyu Zhang, Wei Li

机构 * ByteDance Seed（字节跳动 Seed） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 该研究提出GST-Bench基准评估VLMs的视频全局空间感知，发现其与人类存在显著差距，构建GST-Bench-Local探究原因，还提供GST-Train数据集助力相关研究。

HiSC: Hierarchical Spatial Clustering Token Compression for Efficient 3D Scene Understanding

HiSC：用于高效3D场景理解的分层空间聚类令牌压缩

Jiuhe Qu, Yingping Liang, Ying Fu

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 空间理解 ：3D vision(abstract)；分类 cs.CV

AI总结 本文提出无训练框架HiSC，通过SGraM策略和SCluP范式实现3D VLMs的分层空间聚类令牌压缩，在高剪枝率下实现超90%令牌减少且性能下降极小，验证了其有效性。

Comments Accepted by ACM MM 2026

Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body Teleoperation

面向全身遥操作移动操作的全景感知VLA学习

Donglin Yang, Haoran Chen, Xingyu Chen, Lixing Liu, Manyi Li, Changhe Tu, Ke Xu, Xiaojian Ma, Si Liu

机构 * Beihang University（北京航空航天大学） ； Shandong University（山东大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； Delta Intelligence（delta智能公司） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.RO

AI总结 针对移动操作VLA策略的局部视野与全身演示数据收集难题，开发全身遥操作系统与PanoVLA全景感知VLA策略，基于5.5小时多模态数据集，在四项真实任务中平均阶段完成率91.3%、端到端成功率73.4%，性能优于局部视角基线。

Comments 8 pages, 4 figures

SAGP: Semantic Affordance-Guided Grasp Planning via Coarse-Zone VLM Reasoning

SAGP：基于粗区域VLM推理的语义 affordance 引导抓取规划

Muhayy Ud Din, Irfan Hussain

机构 * Khalifa University（哈利法大学） ； KU Center for Autonomous Robotic Systems (KUCARS)（KU自主机器人系统中心（KUCARS）） 纠错

专题命中 空间理解 ：point cloud(abstract)；分类 cs.RO

AI总结 SAGP是一种无训练的抓取规划框架，通过粗区域抽象层结合VLM推理与几何规划，在保持纯几何抓取高成功率的同时，提升了抓取的功能适用性，尤其适用于非对称带把手物体。

Comments Accepted in ICAME2026

Rad-JEPA 3D: Radiology Joint-Embedding Predictive Model for 3D Computed Tomography

Rad-JEPA 3D：用于三维计算机断层扫描的放射学联合嵌入预测模型

Quoc-Huy Trinh, Minh-Van Nguyen, Ulas Bagci

机构 * Northwestern University（西北大学） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 Rad-JEPA 3D是用于3D CT的自监督联合嵌入预测框架，采用混合H-Mamba编码器与HSOR正则化，在12万次CT扫描预训练后，在器官识别、空间推理等任务上达到最优性能。

RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

RadSight：迈向感知可靠的多模态放射学图像理解

Jianqin Liu, Weiwei Cao, Wanxing Chang, Ruifeng Yuan, Bowen Shi, Zhilin Zheng, Xianjie Zhang, Ling Zhang, Peng Wang, Jianpeng Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（湖畔实验室） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 该研究针对医学多模态大语言模型视觉解释可靠性低的问题，引入Perception-Bench基准分析问题。提出基于双2D/3D编码器架构的RadSight模型，经渐进课程学习训练，在多维度评估中优于现有模型，凸显低级视觉感知对可靠临床理解的关键作用。

3D-Aware VLMs with Implicit and Explicit Geometries

具有隐式和显式几何的3D感知视觉语言模型

Wenhao Li, Xueying Jiang, Quanhao Qian, Deli Zhao, Ran Xu, Shijian Lu, Gongjie Zhang

机构 * Nanyang Technological University（南洋理工大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； HuPan Lab（湖畔实验室） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 研究针对多数2D视觉输入的VLM处理3D任务困难的问题，提出VLM-IE3D框架，通过引入隐式和显式几何令牌及3D感知适配器，融合几何表示与视觉线索，在多种3D任务中表现优异。

Comments Accepted by ECCV 2026, Open Sourced

SceneBind: Binding What and Where Across Vision, Audio and Language

SceneBind：跨视觉、音频和语言绑定“什么”与“哪里”

Mingfei Chen, Zijun Cui, Ruoke Zhang, Hyeonggon Ryu, Eli Shlizerman

机构 * University of Washington（华盛顿大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Hankuk University of Foreign Studies（韩国外国语大学） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 研究提出SceneBind全模态场景表示，结合全局语义与对象中心语义空间插槽解决空间结构缺失问题，还提出匹配方案。通过构建新数据集及训练协议进行训练评估，兼容预训练编码器，实现先进检索并能零样本转移到下游任务。

Comments Project website: https://scenebind.github.io/

Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference

潜在记忆宫殿：作为自回归变分推理的控制推理

Chuning Zhu, Eva Xu, Jose Barreiros, Krishnan Srinivasan, Paarth Shah, Abhishek Gupta

机构 * University of Washington（华盛顿大学） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.RO

AI总结 研究将语言模型的推理能力应用于连续控制策略的问题，提出潜在记忆宫殿（LMP）方法，通过自回归潜在空间组织信息进行变分推理，推导强化学习技术优化下限，该方法在模拟和现实领域表现良好，还产生高性能动作分词器，为控制的潜在推理提供新视角。

IDEAL-Bench: Indoor Dataset and Evaluation suite for Analyzing 3D Layout reasoning

IDEAL-Bench：用于分析3D布局推理的室内数据集和评估套件

Yuening Cai, Junwei Zhou, Youran Qu, Yu-Wing Tai

机构 * Department of Computer Science Dartmouth College（达特茅斯学院计算机科学系） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 介绍IDEAL-Bench评估套件，让视觉语言模型预测室内场景结构化3D布局，基于IDEAL-Scenes数据集，评估15个模型发现任务待解、模型存在不对称性及排名差异，为下一代模型空间智能评估铺路。

Comments 36 pages. Project page: https://ideal3d.github.io/

SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video

SpaceEra++: 面向视频中3D空间推理的统一框架

Weili Guan, Haoyu Zhang, Meng Liu, Qianlong Xiang, Yaowei Wang, Liqiang Nie

机构 * School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息科学与技术学院） ； Shenzhen Loop Area Institute（深圳河套学院） ； School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院） ； Pengcheng Laboratory（鹏城实验室） ； School of Computer Science and Technology, Shandong Jianzhu University（山东建筑大学计算机科学与技术学院） ； Zhongguancun Academy（中关村学院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 提出SpaceEra++框架，通过ScenePick帧采样策略缓解输入不足，并利用SpaceAlign对齐绝对坐标与相对空间关系增强推理，在多个基准上超越强基线。

Comments Accepted by IEEE TPAMI 2026

Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images

桥接3D高斯与语义占据：从无位姿图像实现开放词汇的全面场景理解

Hu Zhu, Bohan Li, Xianda Guo, Yanlun Peng, Zheng Zhu, Xin Jin, Wenjun Zeng, Chang Wen Chen

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Eastern Institute of Technology（东方理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Great Wall Motor（长城汽车） ； Tsinghua University（清华大学） ； Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院） 纠错

专题命中 空间理解 ：novel view synthesis(abstract)；分类 cs.CV

AI总结 提出COVScene框架，通过可微体积提升将可渲染高斯原语与密集语义占据场耦合，实现无位姿图像下的新颖视图合成、开放词汇语义查询和语义占据预测。

Comments Hu Zhu, Bohan Li, and Xianda Guo contributed equally. Corresponding author: Wenjun Zeng

Semantic Occupancy Prediction with Dual Range-Voxel Representation

基于双范围-体素表示的语义占用预测

Sitao Chen, Zhuangwei Zhuang, Hui Luo, Lizhao Liu, Qingyao Wu, Mingkui Tan

机构 * School of Software Engineering, South China University of Technology（华南理工大学软件学院） ； State Key Laboratory of Optical Field Manipulation Science and Technology, Institute of Optics and Electronics, CAS（中国科学院光电技术研究所光学场操控科学与技术国家重点实验室） 纠错

专题命中 空间理解 ：point cloud(abstract)；分类 cs.CV

AI总结 提出双范围-体素表示（DRVR），利用单扫描点云的范围视图和体素视图几何信息进行3D语义占用预测，避免多扫描带来的计算和鲁棒性问题，在nuScenes-Occupancy上mIoU提升5.4%，速度提升2.1倍。

AirGroundBench: Probing Spatial Intelligence in Multimodal Large Models under Heterogeneous Multi-View Embodied Collaboration

AirGroundBench: 异构多视角具身协作下多模态大模型的空间智能探测

Haotian Li, Yida Wang, Leyuan Wang, Jinshan Lai, Keyang Wang, Zonghao Guo, Qiang Ma, Liuyu Xiang, Jianwei Hu, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； QiYuanLab（启元实验室） ； Tsinghua University（清华大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 提出AirGroundBench基准，通过异构无人机-无人车协作的多视角任务（10类、约6.2万道视觉问答和115个导航任务），系统评估多模态大模型在空间感知、跨视角对齐、空间变换推理和具身决策中的几何一致性，发现模型在跨视角对齐和变换推理上存在瓶颈。

Dense Reward for Multi-View 3D Reasoning with Global Maps and Local Views

基于全局地图与局部视图的多视角3D推理的密集奖励

Jiho Choi, Seonho Lee, Seojeong Park, Hyunjung Shim

机构 * Graduate School of Artificial Intelligence, KAIST, Republic of Korea（韩国科学技术院人工智能研究生院） ； KRAFTON, Republic of Korea（韩国KRAFTON公司） 纠错

专题命中 空间理解 ：3D vision(abstract)；分类 cs.CV

AI总结 提出DR-MV3D框架，通过全局一致性奖励和局部轨迹奖励对多视角3D VQA的中间推理过程进行密集监督，提升跨视图推理一致性。

Comments ECCV 2026

RT-Counter: Real-Time Text-Guided Open-Vocabulary Object Counting

RT-Counter：实时文本引导的开放词汇目标计数

Hao-Yuan Ma, Li Zhang, Zhiwei Zhu, Jie Gao

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） 纠错

专题命中 空间理解 ：spatial understanding(abstract)；分类 cs.CV

AI总结 提出实时文本引导开放词汇计数框架RT-Counter，通过视觉原型文本化模块和编织Transformer层，在保持高精度的同时实现实时推理，在FSC147上MAE为13.30，速度达112.48 FPS。