大模型推理能力

Detect in Any Scene: An Agentic Framework for Object Detection with Experience-Aware Reasoning

任意场景检测：一种具有经验感知推理的目标检测智能体框架

Wenlun Zhang, Jun Yin, Kentaro Yoshioka

机构 * Keio University（Keio大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 提出DetAS/DetAS-X智能体框架，利用多模态大语言模型自适应组合恢复模块和专用检测器，通过自进化经验积累实现经验感知推理，在六个基准上平均F1提升28.36%。

BilliardPhys-Bench: Benchmarking Physical Reasoning and Visual Dynamics of Multimodal LLMs

BilliardPhys-Bench: 多模态大语言模型的物理推理与视觉动力学基准测试

Ben Wang, Xiaogang Li, Ruochen Gao, Peiyao Xiao, Chengliang Xu, Zeyu Wang, Zichao Chen, Bing Zhao, Hu Wei

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出BilliardPhys-Bench基准，通过合成台球环境评估多模态大语言模型在物理推理（碰撞、反弹、最终位置预测）上的能力，发现模型存在“静态偏差”且性能随模拟时间与场景复杂度下降。

3ViewSense: Spatial and Mental Perspective Reasoning from Orthographic Views in Vision-Language Models

3ViewSense: 视觉-语言模型中基于正交视图的空间与心理视角推理

Shaoxiong Zhan, Yanlin Lai, Zheng Liu, Hai Lin, Shen Li, Xiaodong Cai, Zijian Lin, Wen Huang, Hai-Tao Zheng

机构 * Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院） ； School of Software Engineering, Chongqing University, Chongqing, China（重庆大学软件学院） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出3ViewSense框架，通过正交视图的“模拟-推理”机制解决视觉-语言模型在空间推理中的视角一致性问题，显著提升遮挡计数和空间推理性能。

Comments Accepted to ICML 2026

Before the Shutter: Aesthetic and Actionable Portrait Photography Planning in 3D Scenes

快门之前：3D场景中美学的且可执行的人像摄影规划

Ruixiang Jiang, Chang Wen Chen

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视觉空间推理 ：planning(title,abstract)；分类 cs.AI

AI总结 提出在3D场景中生成人像姿态、相机、照明和曝光方案的方法，通过构建摄影场景图实现美学引导的规划，生成视觉上引人注目且几何与光度可行的人像。

Beyond 3D VQAs: Injecting 3D Spatial Priors into Vision-Language Models for Enhanced Geometric Reasoning

超越3D VQA：将3D空间先验注入视觉-语言模型以增强几何推理

Chun-Hsiao Yeh, Shengyi Qian, Manchen Wang, Yi Ma, Joseph Tighe, Fanyi Xiao

机构 * FAIR at Meta（Meta的FAIR） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出GASP框架，通过将几何先验注入LLM的Transformer层，利用对比损失和深度一致性监督训练，显著提升VLM的3D空间推理能力，在多个基准上取得大幅提升。

Comments CVPR 2026. Project page: https://danielchyeh.github.io/GASP/

JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments

JAEGER：模拟物理环境中的联合3D音频-视觉定位与推理

Zhan Liu, Changli Tang, Yuxin Wang, Zhiyuan Zhu, Youjun Chen, Yiwen Shao, Tianzi Wang, Lei Ke, Zengrui Jin, Chao Zhang

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出JAEGER框架，通过集成RGB-D观测和多通道一阶环境声学，将音频-视觉大语言模型扩展到3D空间，实现联合空间定位与推理，并引入神经强度向量（Neural IV）提升声源方向估计的鲁棒性。

Comments Accepted to ICML 2026

ROVER: Routing Object-Centric Visual Evidence for Grounded Multi-Image Reasoning

ROVER: 面向对象中心视觉证据的路由用于基于多图像推理

Guannan Lv, Ren Nie, Hongjian Dou, Tingting Gao

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出ROVER，一种轻量级可学习插件，通过对象中心差分注意力聚合上下文、蒸馏图像内线索并路由历史感知证据，实现高效全局视觉证据路由，在多图像推理中提升答案和定位精度。

SSR3D-LLM: Structured Spatial Reasoning via Latent Steps for Fine-Grained Grounding in Unified 3D-LLMs

SSR3D-LLM: 通过潜在步骤实现结构化空间推理以实现统一3D-LLM中的细粒度定位

Jiawei Li, Ziyi Liu, Weijie Shi, Long Chen, Jiajie Xu, Xiaofang Zhou

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Soochow University（苏州大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 针对统一3D-LLM中细粒度查询的脆弱性，提出SSR3D-LLM，通过潜在空间推理步骤和几何感知评分器逐步精炼候选排名，在多个基准上取得最优结果。

Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning

面向多跳音视频推理的主动全模态感知代理

Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 针对多跳音视频推理中证据稀疏且跨模态分布的问题，提出MOV-Bench基准和AOP-Agent代理框架，通过分层全模态记忆与观察-反思-重规划循环实现主动感知，显著提升开源全模态大模型在长视频和推理密集型问题上的性能。

The Shape of Reasoning: Topological Analysis of Reasoning Traces in Large Language Models

推理的形状：大型语言模型中推理轨迹的拓扑分析

Xue Wen Tan, Nathaniel Tan, Galen Lee, Stanley Kok

机构 * University of Cambridge, Department of Engineering, England（剑桥大学工程系） ； National University of Singapore, School of Computing, Singapore（新加坡国立大学计算机学院） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出基于拓扑数据分析（TDA）的评估框架，通过捕捉推理轨迹的几何结构实现高效自动评估，实验表明拓扑特征比图指标更有效预测推理质量。

Comments Accepted in ICML 2026 Workshop: Epistemic Intelligence in Machine Learning

Relational Semantic Reasoning on 3D Scene Graphs for Open World Interactive Object Search

基于3D场景图的开放世界交互式物体搜索的关系语义推理

Imen Mahdi, Matteo Cassinelli, Fabien Despinoy, Tim Welschehold, Abhinav Valada

机构 * University of Freiburg（弗赖堡大学） ； Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出SCOUT方法，通过从LLM蒸馏的关系探索启发式直接搜索3D场景图，实现高效开放世界交互式物体搜索，性能匹配LLM且计算高效。

On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning

关于Transformer图像嵌入在非可解空间推理中的内在限制

Siyi Lyu, Quan Liu, Feng Yan

机构 * School of Electronic Science and Engineering, Nanjing University, Nanjing, China（电子科学与工程学院，南京大学，南京，中国） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文通过将空间理解形式化为群同态问题，证明恒定深度Transformer由于TC⁰复杂度限制，无法在单次前向传播中捕获非可解群（如SO(3)）的空间结构。

The Point, the Vision and the Text: Does Point Cloud Boost Spatial Reasoning of Large Language Models? A Bias-Controlled Study

点、视觉与文本：点云能否提升大语言模型的空间推理能力？一项偏差控制研究

Weichen Zhang, Ruiying Peng, Xin Zeng, Jianjie Fang, Ziyou Wang, Kaiyuan Li, Heng Dong, Wei Li, Chen Gao, Xin Wang, Xinlei Chen, Yong Li

机构 * Tsinghua University（清华大学） ； ByteDance Seed（字节跳动种子） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文通过引入包含文本、视觉和点云模态的3D空间推理基准ScanReQA，评估不同模态下大语言模型的空间推理能力，发现点云和视觉模态的模型表现优于纯文本模型，并揭示了3D大语言模型中的注意力下沉现象。

Scaling, Benchmarking, and Reasoning of Vision-Language Agents for Mobile GUI Navigation

面向移动GUI导航的视觉语言模型：缩放、基准测试与推理

Heng Qu, Yike Liu, Renren Jin, Wenzong Zhang, Pengzhi Gao, Wei Liu, Jian Luan

机构 * Wuhan University（武汉大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文系统研究了视觉语言模型在移动GUI导航中的数据缩放、基准测试与推理，提出了大规模数据集HyperTrack和开源工具包GUIEvalKit，并发现基于强化学习的微调优于监督微调，尤其在域外场景中表现更佳。

Comments Accepted at ICML 2026

Learning GUI Grounding with Spatial Reasoning from Visual Feedback

通过视觉反馈学习具有空间推理能力的 GUI 定位

Yu Zhao, Wei-Ning Chen, Huseyin Atahan Inan, Samuel Kessler, Lu Wang, Lukas Wutschitz, Fangkai Yang, Chaoyun Zhang, Pasquale Minervini, Saravan Rajmohan, Robert Sim

机构 * University of Edinburgh（爱丁堡大学） ； Microsoft（微软） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出将 GUI 定位重构为交互式搜索任务，利用多步在线强化学习训练 GUI-Cursor 模型，通过光标视觉反馈提升空间推理能力，在 GUI 定位和代理任务上超越强基线。

Comments Accepted at ICML 2026

Doc-CoB: Enhancing Document Understanding with Visual Chain-of-Boxes Reasoning

Doc-CoB：通过视觉链式框推理增强文档理解

Ye Mo, Kai Ye, Xianwei Mao, Zirui Shao, Gang Huang, Bo Zhang, Hangdi Xing, Kehan Chen, Huan Zhou, Zixu Yan, Jiajun Bu, Sheng Zhou

机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University（浙江可感知与智能系统重点实验室，浙江大学） ； Alibaba Group（阿里巴巴集团） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出Doc-CoB框架，通过粗到细的布局感知视觉推理，结合多模态大语言模型，逐步聚焦查询相关布局区域，提升文档理解性能。

DRScaffold: Boosting Dense-Scene Reasoning in Lightweight Vision Language Models

DRScaffold：提升轻量级视觉语言模型在密集场景推理中的能力

Xinrui Shi, Kai Liu, Ziqing Zhang, Jianze Li, Anqi Li, Yulun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 针对轻量级视觉语言模型在密集场景推理中缺乏显式视觉锚定导致推理链不可靠的问题，提出DRScaffold监督微调框架，通过将监督目标分解为四个因果有序阶段，在不修改架构的情况下强制进行有根据的推理，显著提升密集场景推理性能。

DUEL: Adversarial Self-Play for Multimodal Reasoning

DUEL: 用于多模态推理的对抗性自我对弈

Lin Qiu, Hanqing Zeng, Yao Liu, Bingjun Sun, Guangdeng Liao, Ji Liu

机构 * Meta AI 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出DUEL框架，通过对抗性自我对弈从预训练VLM生成监督信号，结合长度归一化对数似然奖励，无需人工标注即可提升视觉推理与判别能力。

Miller-Index-Based Latent Crystallographic Fracture Plane Reasoning and generation with Vision-Language Models

基于米勒指数的潜在晶体学断裂面推理与生成：视觉-语言模型方法

Qinwu Xu, Xiaofu Ma, Yifan Jiang

机构 * Independent research（独立研究） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.LG

AI总结 研究多模态大语言模型能否利用米勒指数作为结构化潜在表示来推理断裂几何，实验表明模型在理想条件下可进行潜在推理，并能拒绝不适用物理的表示。

P2DNav: Panorama-to-Downview Reasoning for Zero-shot Vision-and-Language Navigation

P2DNav: 全景到俯视视角的零样本视觉-语言导航

Kai Sheng, Liuyi Wang, Haojie Dai, Jinlong Li, Yongrui Qin, Zongtao He, Chengju Liu, Qijun Chen

机构 * Department of Control Science and Engineering, Tongji University（控制科学与工程系，同济大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出P2DNav框架，通过全景到俯视视角的分解、滑动窗口对话记忆和反思重新定位机制，解决零样本视觉-语言导航中的方向推理与局部定位问题，实验表明其在R2R-CE基准上性能优异。

Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency

通过几何逻辑一致性实现视觉语言模型中的自演化空间推理

Junming Liu, Yuqi Li, Yifei Sun, Maonan Wang, Piotr Koniusz, Yirong Chen, Ding Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The City University of New York（纽约城市大学） ； The Chinese University of Hong Kong（香港中文大学） ； Data61 CSIRO（Data61澳大利亚国家科学研究院） ； University of New South Wales（新南威尔士大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出SAGE框架，通过几何和语言二元操作在视觉语言模型中实现自演化空间推理，提升模型在空间推理任务中的鲁棒性和泛化能力。

Comments 23 pages, 7 figures, 3 tables

TaskGround: Structured Executable Task Inference for Full-Scene Household Reasoning

TaskGround：全场景家庭推理的结构化可执行任务推断

ZhiYuan Feng, Yu Deng, Ruichuan An, Zhenhua Liu, Qixiu Li, Keming Wu, Zhiying Du, Weijie Wang, Haoxiao Wang, Shuang Chen, Sicheng Xu, Yaobo Liang, Jiaolong Yang, Baining Guo

机构 * Tsinghua University（清华大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出TaskGround框架，通过结构化任务推断提升全场景家庭推理能力，其核心贡献是引入FullHome评估套件，验证了在家庭场景中执行任务结构推断的重要性，并展示了紧凑本地模型在实际家庭部署中的有效性。

Comments Project page: https://aaronfengzy.github.io/TaskGround/

CAVE: A Structured Credit Assignment Approach for Fragmented Visual Evidence Reasoning

CAVE：一种用于碎片化视觉证据推理的结构化信用分配方法

Tengda Guo, Jie Leng, Hanlei Li, Yaoyuan Liang, Qingyue Zhang, Dian Yang, Mingyu Zhang, Yuhua Fu, Shao-Lun Huang

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 CAVE通过结构化过程-奖励机制提升碎片化视觉推理能力，引入三个互补信号优化推理步骤，提升模型可靠性与鲁棒性。

Comments 24 pages, 6 figures. Preprint

CrystalReasoner: Reasoning and RL for Property-Conditioned Crystal Structure Generation

CrystalReasoner: 基于推理和强化学习的性质条件晶体结构生成

Yuyang Wu, Stefano Falletta, Delia McGrath, Sherry Yang

机构 * Tsinghua University（清华大学） ； Radical AI ； New York University（纽约大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 CrystalReasoner通过引入物理先验和强化学习，实现从自然语言指令生成稳定且具有特定性质的晶体结构，提升了生成精度和科学合理性。

Comments Our work is available at https://crystalreasoner.github.io/, with code at https://github.com/wyy603/CrystalReasoner

Mixture-of-Visual-Thoughts: Exploring Context-Adaptive Reasoning Mode Selection for General Visual Reasoning

视觉思维混合：探索上下文自适应推理模式选择用于通用视觉推理

Zejun Li, Yingxiu Zhao, Jiwen Zhang, Siyuan Wang, Yang Yao, Runzhou Zhao, Jun Song, Bo Zheng, Zhongyu Wei

机构 * Fudan University（复旦大学） ； Alibaba Group Holding Limited（阿里巴巴集团控股有限公司） ； Future Living Lab of Alibaba（阿里巴巴未来生活实验室） ； University of Southern California（南加州大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出MoVT框架，通过AdaVaR实现多模式统一学习与上下文自适应选择，提升通用视觉推理能力。

Comments 27 pages, 11 figures, 5 tables, accepted by ICLR 2026

Towards Unified Surgical Scene Understanding:Bridging Reasoning and Grounding via MLLMs

迈向统一的手术场景理解：通过多模态大语言模型弥合推理与 grounding

Jincai Huang, Shihao Zou, Yuchen Guo, Jingjing Li, Wei Ji, Kai Wang, Shanshan Wang, Weixin Si

机构 * Southern University of Science and Technology（南方科技大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） ； Northwestern University（西北大学） ； University of Alberta（阿尔伯塔大学） ； Yale University（耶鲁大学） ； Nanfang Hospital（南华医院） ； Shenzhen University of Advanced Technology（深圳大学先进技术研究院） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出SurgMLLM框架，通过统一推理与视觉 grounding 实现手术场景理解，提升三元组识别和分割精度，实验表明其在三元组识别指标AP_IVT上提升显著。

SpatialForge: Bootstrapping 3D-Aware Spatial Reasoning from Open-World 2D Images

SpatialForge: 从开放世界2D图像中提升3D感知空间推理

Zishan Liu, Ruoxi Zang, Yanglin Zhang, Wei Liu, Yin Zhang, Jian Yao, Jiayin Zheng, Zhengzhe Liu

机构 * Lingnan University（岭南大学） ； XPENG Robotics（小鹏机器人） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出SpatialForge，通过大规模合成数据提升空间推理能力，构建了包含1000万对空间问答的大型数据集，验证了2D数据扩展对3D空间推理的有效性。

ViSRA: A Video-based Spatial Reasoning Agent for Multi-modal Large Language Models

ViSRA：一种基于视频的空间推理代理用于多模态大语言模型

Tingshu Mou, Jiabo He, Renying Wang, Ce Liu, Hao Yang, Tiehua Zhang, Jingjing Chen, Xingjun Ma

机构 * Fudan University（复旦大学） ； Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI）） ； Tongji University（同济大学） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 ViSRA从无训练视角出发，提出一种人类对齐的视频空间推理代理框架，通过显式空间信息探索多模态大语言模型的空间推理机制，实现模块化和可扩展的空间推理，提升3D理解能力并减少训练成本。

DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding

DocSeeker：基于证据 grounding 的结构化视觉推理用于长文档理解

Hao Yan, Yuliang Liu, Xingchen Liu, Yuyi Zhang, Minghui Liao, Jihao Wu, Wei Chen, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Inc.（华为公司） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出DocSeeker，通过结构化分析、定位和推理流程解决长文档理解中的信号噪声比低和监督不足问题，实现对超长文档的鲁棒泛化。

Comments CVPR 2026 Highlight

Beyond Self-Play: Hierarchical Reasoning for Continuous Motion in Closed-Loop Traffic Simulation

超越自我博弈：闭合环路交通模拟中的层次化推理

Weifan Zhang, Xiaofeng Zhao, Adel Bazzi, Mingrui Li, Yifan Wei, Dengfeng Sun

机构 * School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院） 纠错

专题命中 视觉空间推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出一种层次化架构，结合高层多智能体交互推理与底层连续轨迹生成，以提升闭合环路交通模拟中代理的可扩展性和行为真实性，实验表明其在控制平滑性和安全性方面优于自我博弈和被动模仿基线。

Comments Submitted to IEEE Robotics and Automation Letters (RA-L)