大模型推理能力

Understanding Dynamic Scenes in Ego Centric 4D Point Clouds

Junsheng Huang, Shengyu Hao, Bocheng Hu, Hongwei Wang, Gaoang Wang

专题命中 视觉空间推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)

Comments Accepted as a poster to AAAI 2026; will be published in the proceedings

MM-R1: Unleashing the Power of Unified Multimodal Large Language Models for Personalized Image Generation

Qian Liang, Yujia Wu, Kuncheng Li, Jiwei Wei, Shiyuan He, Jinyu Guo, Ning Xie

专题命中 视觉空间推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)

LLM-Guided Indoor Navigation with Multimodal Map Understanding

Alberto Coffrini, Paolo Barsocchi, Francesco Furfari, Antonino Crivello, Alessio Ferrari

机构 * Institute of Information Science and Technologies (ISTI)（信息科学与技术研究所） ； National Research Council of Italy (CNR)（意大利国家研究理事会） ； Department of Computer Science（计算机科学系） ； University of Pisa（比萨大学） ； University College Dublin (UCD)（都柏林大学学院） ； School of Computer Science（计算机科学学院） 纠错

专题命中 视觉空间推理 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 7 pages, 3 figures, 5 tables

Visual Embodied Brain: Let Multimodal Large Language Models See, Think, and Control in Spaces

Gen Luo, Ganlin Yang, Ziyang Gong, Guanzhou Chen, Haonan Duan, Erfei Cui, Ronglei Tong, Zhi Hou, Tianyi Zhang, Zhe Chen, Shenglong Ye, Lewei Lu, Jingbo Wang, Wenhai Wang, Jifeng Dai, Yu Qiao, Rongrong Ji, Xizhou Zhu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Xiamen University（厦门大学） ； SenseTime Research（商汤科技研究院） ； Zhejiang University（浙江大学） ； Nanjing University（南京大学） 纠错

专题命中 视觉空间推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)

Can Large Vision Language Models Read Maps Like a Human?

Shuo Xing, Zezhou Sun, Shuangyu Xie, Kaiyuan Chen, Yanjia Huang, Yuping Wang, Jiachen Li, Dezhen Song, Zhengzhong Tu

专题命中 视觉空间推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)

Comments 35 pages

Open-Nav: Exploring Zero-Shot Vision-and-Language Navigation in Continuous Environment with Open-Source LLMs

Yanyuan Qiao, Wenqi Lyu, Hui Wang, Zixu Wang, Zerui Li, Yuan Zhang, Mingkui Tan, Qi Wu

专题命中 视觉空间推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)

Comments Accepted by ICRA 2025

Is a 3D-Tokenized LLM the Key to Reliable Autonomous Driving?

Yifan Bai, Dongming Wu, Yingfei Liu, Fan Jia, Weixin Mao, Ziheng Zhang, Yucheng Zhao, Jianbing Shen, Xing Wei, Tiancai Wang, Xiangyu Zhang

专题命中 视觉空间推理 ：reasoning(abstract)；planning(abstract)；logical reasoning(abstract)

An Embodied Generalist Agent in 3D World

Jiangyong Huang, Silong Yong, Xiaojian Ma, Xiongkun Linghu, Puhao Li, Yan Wang, Qing Li, Song-Chun Zhu, Baoxiong Jia, Siyuan Huang

专题命中 视觉空间推理 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ICML 2024. The first four authors contribute equally. Project page: https://embodied-generalist.github.io

Language-Image Models with 3D Understanding

Jang Hyun Cho, Boris Ivanovic, Yulong Cao, Edward Schmerling, Yue Wang, Xinshuo Weng, Boyi Li, Yurong You, Philipp Krähenbühl, Yan Wang, Marco Pavone

专题命中 视觉空间推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Project page: https://janghyuncho.github.io/Cube-LLM

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei

专题命中 视觉空间推理 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI、cs.LG

ALFWorld: Aligning Text and Embodied Environments for Interactive Learning

Mohit Shridhar, Xingdi Yuan, Marc-Alexandre Côté, Yonatan Bisk, Adam Trischler, Matthew Hausknecht

专题命中 视觉空间推理 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ICLR 2021; Data, code, and videos are available at alfworld.github.io

Evidence-RL: Towards Evidence-intensive Visual Reasoning

Evidence-RL：面向证据密集型视觉推理

Haojie Huang, Xinlei Yu, Chengming Xu, Zhangquan Chen, Cheng Yang, Qingdong He, Yu Yang, Jiangning Zhang, Xiaobin Hu

机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

AI总结 针对视觉-语言模型依赖语言先验等问题，提出反事实证据解缠方法，结合GRPO框架在9个基准和4种骨干模型上优于现有基于RL的后训练方法。

Comments 22 pages, 10 figures

Visual Credit Audit for Multimodal Spatial Reasoning

多模态空间推理的视觉信用审计

Feixiang Liu, Qiang Qiu, Lanbo Sun, Nan Wei, Huawei Shen, Xueqi Cheng

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

AI总结 该研究提出视觉信用审计（VCA）方法，分解多模态空间推理基准的成功维度，发现部分模型决策正确但未获图像额外信用，验证了其在评估模型视觉关系响应上的有效性。

Comments 20 pages, 2 figures. Code: https://github.com/SouthWinter/VCA

Mechanistic Diagnostics of Spatial Lexical Bias in Multimodal Large Language Model Spatial Reasoning

多模态大语言模型空间推理中空间词汇偏差的机制诊断

Chuang Ma, Qianying Liu, Tomoyuki Obuchi, Fei Cheng, Wang Yang, Sudong Cai, Shuyuan Zheng, Akiko Aizawa, Sadao Kurohashi

机构 * Kyoto University（京都大学） ； NII LLMC（日本国立信息与通信技术研究所语言模型中心） ； RIKEN AIP（日本理化学研究所先进理工研究所） ； Case Western Reserve University（凯斯西储大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Osaka（大阪大学） ； University of Tokyo（东京大学） 纠错

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.CL

AI总结 本文发现多模态大语言模型存在空间词汇偏差，即添加空间关系词会吸引模型选择该选项，并通过机制可解释性工具揭示偏差主要源于语言侧而非视觉侧，最后提出轻量级LLM-only DPO更新可有效缓解偏差。

LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning

LatentPilot: 通过潜意识视觉推理进行场景感知的视觉-语言导航

Haihong Hao, Lei Chen, Mingfei Han, Changlin Li, Dong An, Yuqiang Yang, Zhihui Li, Xiaojun Chang

机构 * University of Science and Technology of China（中国科学技术大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Stanford University（斯坦福大学） ； Amap, Alibaba Group（阿里巴巴集团高德地图） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

AI总结 LatentPilot通过利用未来观测作为训练数据源，学习动作条件的视觉动态，无需访问未来帧即可实现场景感知的视觉-语言导航，实验在多个基准上取得新SOTA结果。

Comments Project page:https://abdd.top/latentpilot/

How to Enable LLM with 3D Capacity? A Survey of Spatial Reasoning in LLM

如何使LLM具备3D能力？LLM中空间推理的综述

Jirong Zha, Yuxuan Fan, Xiao Yang, Chen Gao, Xinlei Chen

机构 * Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guang Zhou)（香港科学与技术大学（广州）） 纠错

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

AI总结 本文综述了将LLM与3D空间理解结合的方法，提出分类体系，涵盖图像、点云和混合模态方法，并讨论了当前限制与未来研究方向。

Comments 9 pages, 5 figures

Journal ref IJCAI 2025

Bilateral Spatial Reasoning about Street Networks: Graph-based RAG with Qualitative Spatial Representations

双重视觉推理关于街道网络：基于图的RAG与定性空间表示

Reinhard Moratz, Niklas Daute, James Ondieki, Markus Kattenbeck, Mario Krajina, Ioannis Giannopoulos

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

AI总结 本文提出一种基于图的RAG方法，利用定性空间表示提升LLM在行人导航中的路线指引能力。

The Unified Cognitive Consciousness Theory for Language Models: Anchoring Semantics, Thresholds of Activation, and Emergent Reasoning

语言模型的统一认知意识理论：锚定语义、激活阈值与涌现推理

Edward Y. Chang, Zeyneb N. Kaya, Ethan Chang

机构 * Stanford University（斯坦福大学） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

AI总结 该研究提出统一认知意识理论，通过语义锚定解释语言模型如何将预训练能力转化为目标导向行为，并通过实验验证了锚定强度对模型性能的影响。

Comments 21 pages, 7 figure, 4 table

Region in Context: Text-condition Image editing with Human-like semantic reasoning

Thuy Phuong Vu, Dinh-Cuong Hoang, Minhhuy Le, Phan Xuan Tan

机构 * Greenwich Vietnam FPT University（越南格林威治FPT大学） 纠错

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

Structured Interfaces for Automated Reasoning with 3D Scene Graphs

Aaron Ray, Jacob Arkin, Harel Biggie, Chuchu Fan, Luca Carlone, Nicholas Roy

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

Comments 25 pages, 3 figures

From Templates to Natural Language: Generalization Challenges in Instruction-Tuned LLMs for Spatial Reasoning

Chalamalasetti Kranti, Sherzod Hakimov, David Schlangen

机构 * Computational Linguistics, Department of Linguistics University of Potsdam（乌特雷赫特大学语言学系计算语言学部） ； German Research Center for Artificial Intelligence (DFKI), Berlin（德国人工智能研究中心（DFKI）柏林） 纠错

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.CL

Comments 17 pages

Autonomous Navigation of Cloud-Controlled Quadcopters in Confined Spaces Using Multi-Modal Perception and LLM-Driven High Semantic Reasoning

Shoaib Ahmmad, Zubayer Ahmed Aditto, Md Mehrab Hossain, Noushin Yeasmin, Shorower Hossain

机构 * Department of Mechanical Engineering（机械工程系） ； Rajshahi University of Engineering and Technology（拉贾沙希工程与技术大学） ； Department of Industrial and Production Engineering（工业与生产工程系） ； Shahjalal University of Science and Technology（沙赫jalal科学与技术大学） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） ； Department of Urban and Regional Planning（城市与区域规划系） ； Department of Computer Science Engineering（计算机科学与工程系） ； United International University（联合国际大学） 纠错

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

Planning from Imagination: Episodic Simulation and Episodic Memory for Vision-and-Language Navigation

Yiyuan Pan, Yunzhe Xu, Zhe Liu, Hesheng Wang

专题命中 视觉空间推理 ：planning(title)；分类 cs.LG

ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation

Wenlong Huang, Chen Wang, Yunzhu Li, Ruohan Zhang, Li Fei-Fei

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

BUMBLE: Unifying Reasoning and Acting with Vision-Language Models for Building-wide Mobile Manipulation

Rutav Shah, Albert Yu, Yifeng Zhu, Yuke Zhu, Roberto Martín-Martín

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

Comments 7 Figures, 2 Tables, 11 Pages

Reasoning about the Unseen for Efficient Outdoor Object Navigation

Quanting Xie, Tianyi Zhang, Kedi Xu, Matthew Johnson-Roberson, Yonatan Bisk

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

Comments 6 pages, 7 figures

Can Vision Language Models Learn from Visual Demonstrations of Ambiguous Spatial Reasoning?

Bowen Zhao, Leo Parker Dirac, Paulina Varshavskaya

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.CL

Comments 13 pages, 4 figures. Code released at https://github.com/groundlight/vlm-visual-demonstrations

Multimodal Datasets and Benchmarks for Reasoning about Dynamic Spatio-Temporality in Everyday Environments

Takanori Ugai, Kensho Hara, Shusaku Egami, Ken Fukuda

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

Comments 5 pages, 1 figure, 1 table, accepted in Embodied AI 2024 Workshop held in conjunction with CVPR 2024

Guided Navigation from Multiple Viewpoints using Qualitative Spatial Reasoning

Danilo Perico, Paulo E. Santos, Reinaldo Bianchi

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI

Comments 26 pages

Journal ref Spatial Cognition and Computation - 2020

Combining Deep Learning and Qualitative Spatial Reasoning to Learn Complex Structures from Sparse Examples with Noise

Nikhil Krishnaswamy, Scott Friedman, James Pustejovsky

专题命中 视觉空间推理 ：reasoning(title)；分类 cs.AI