视觉大模型 / VLM

Exploring Bottlenecks in VLM-LLM Navigation: How 3D Scene Understanding Capability Impacts Zero-Shot VLN

探索VLM-LLM导航中的瓶颈：3D场景理解能力如何影响零样本VLN

Ziyi Xia, Chaoran Xiong, Litao Wei, Xinhao Hu, Ling Pei

机构 * Shanghai Key Laboratory of Navigation and Location Based Services, Shanghai Jiao Tong University（上海导航与基于位置的服务关键实验室，上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)

AI总结 本文研究了零样本视觉-语言导航中3D场景理解能力对性能的影响，提出了统计成功率上限，揭示了感知饱和现象，建议转向导航相关的核心词汇和准确的边界框比例。

Comments Accepted by ICRA Workshop MM-Spatial AI, Oral

Video2GUI: Synthesizing Large-Scale Interaction Trajectories for Generalized GUI Agent Pretraining

Video2GUI：合成大规模交互轨迹用于通用GUI代理预训练

Weimin Xiong, Shuhao Gu, Bowen Ye, Zihao Yue, Lei Li, Feifan Song, Sujian Li, Hao Tian

机构 * National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（国家多媒体信息处理重点实验室，计算机科学学院，北京大学） ； The University of Hong Kong（香港大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出Video2GUI框架，通过自动提取互联网视频中的GUI交互轨迹，生成大规模数据集WildGUI，提升了GUI代理的泛化能力。

Comments Accepted at ICML 2026

Do-Undo Bench: Reversibility for Action Understanding in Image Generation

Do-Undo基准：图像生成中动作理解的可逆性

Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

机构 * York University（约克大学） ； Vector Institute for AI（人工智能向量研究所） ； Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Do-Undo任务和基准，解决视觉-语言模型在理解并生成由现实动作驱动的场景变换中的关键缺口。通过要求模型模拟现实动作的后果并逆转至原始状态，测试真正的因果理解。实验表明当前模型在动作可逆性上存在困难，凸显评估动作理解的必要性。

Comments Project page: https://s-mahajan.github.io/Do-Undo-Bench/

Evo-Depth: A Lightweight Depth-Enhanced Vision-Language-Action Model

Evo-Depth：一种轻量化的深度增强视觉-语言-动作模型

Tao Lin, Yuxin Du, Jiting Liu, Nuobei Zhu, Yunhe Li, Yuqian Fu, Yinxinyu Chen, Hongyi Cai, Zewei Ye, Bing Cheng, Kai Ye, Yiran Mao, Yilei Zhong, MingKang Dong, Junchi Yan, Gen Li, Bo Zhao

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； King Abdullah University of Science and Technology（卡塔尔国王 Abdullah 大学科学与技术大学） ； Nanyang Technological University（南洋理工大学） ； SJTU-Quic Robot Joint Lab（上海交通大学-Quick 机器人联合实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出Evo-Depth模型，通过轻量隐式深度编码模块和空间增强模块提升视觉-语言-动作任务中的空间感知能力，实现高效部署与高精度操作。

AutoMoT: A Unified Vision-Language-Action Model with Asynchronous Mixture-of-Transformers for End-to-End Autonomous Driving

AutoMoT：一种基于异步混合变换器的统一视觉-语言-动作模型用于端到端自动驾驶

Wenhui Huang, Songyan Zhang, Qihang Huang, Zhidong Wang, Zhiqi Mao, Collister Chua, Zhan Chen, Long Chen, Chen Lv

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Harvard University, US（哈佛大学，美国） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出AutoMoT，一种统一视觉-语言-动作模型，通过异步混合变换器架构解决自动驾驶中推理与动作空间分布不一致、推理效率低等问题，实验证明其在多基准测试中表现优异。

SPIN: Structural LLM Planning via Iterative Navigation for Industrial Tasks

SPIN：通过迭代导航进行工业任务的结构LLM规划

Yusuke Ozaki, Dhaval Patel

机构 * University at Albany（阿尔巴马大学） ； IBM（国际商业机器公司） ； Kwansei Gakuin University（关西大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 SPIN通过结合验证的有向无环图规划与前缀执行控制，减少任务执行次数并提高完成率，适用于工业任务规划。

Comments 31 pages, 10 figures