视觉大模型 / VLM

DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding

DRS-GUI: 动态区域搜索用于无训练的GUI定位

Yichao Liu, Huawen Shen, Liu Yu, Shiyu Liu, Zeyu Chen, Yu Zhou

机构 * Nankai University（南开大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 DRS-GUI通过动态区域搜索框架提升GUI定位性能，利用轻量级UI感知器和MCTS动作规划器，实现高效区域探索与筛选，提升多模态大语言模型的定位能力。

Comments 11 pages, 8 figures

VideoGameBench: Can Vision-Language Models complete popular video games?

VideoGameBench: 能否让视觉-语言模型完成流行视频游戏？

Alex L. Zhang, Thomas L. Griffiths, Karthik R. Narasimhan, Ofir Press

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 VideoGameBench通过10款经典游戏测试视觉-语言模型在无辅助信息下的实时游戏完成能力，发现前沿模型受推理延迟限制，仅能完成极少量游戏内容。

Comments 10 pages, 38 pages including supplementary

Offline Semantic Guidance for Efficient Vision-Language-Action Policy Distillation

离线语义引导用于高效视觉-语言-动作策略蒸馏

Jin Shi, Brady Zhang, Yishun Lu

机构 * Department of Mechanical Engineering（机械工程系） ； University College London（伦敦大学学院） ； Department of Engineering Science（工程科学系） ； University of Oxford（牛津大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VLA-AD框架，利用视觉-语言模型作为离线语义监督者，将大规模VLA教师模型蒸馏为轻量学生策略，通过高阶语义指导提升效率与鲁棒性。

ShopGym: An Integrated Framework for Realistic Simulation and Scalable Benchmarking of E-Commerce Web Agents

ShopGym: 一个集成框架，用于电子商务网络代理的现实模拟和可扩展基准测试

Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

机构 * North Carolina State University（北卡罗来纳州立大学） ； Shopify 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出ShopGym框架，通过模拟层ShopArena和基准层ShopGuru，实现电子商务网络代理的现实模拟与可扩展基准测试，验证了合成商店在结构属性和代理性能上的有效性。

Comments 32 pages, 10 figures

PAGER: Bridging the Semantic-Execution Gap in Point-Precise Geometric GUI Control

PAGER:弥合点精确几何GUI控制中的语义-执行鸿沟

Jingxuan Wei, Xi Bai, Shan Liu, Caijun Jia, Zheng Sun, Xinglong Xu, Siyuan Li, Linzhuang Sun, Bihui Yu, Conghui He, Cheng Tan

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； China University of Petroleum-Beijing（中国石油大学（北京）） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 本文提出PAGER，通过依赖结构规划与像素级执行，解决对点精确几何GUI任务的需求，提升任务成功率至62%以上，填补语义-执行鸿沟。

Comments 27 pages, 11 figures, 3 tables

AirNav: A Large-Scale UAV Vision-and-Language Navigation Dataset with Natural and Diverse Instructions

AirNav: 一个大规模无人机视觉与语言导航数据集，包含自然且多样的指令

Hengxing Cai, Yijie Rao, Ligang Huang, Zanyang Zhong, Jinhan Dong, Jingjun Tan, Changhao Nai, Jue Hou, Wenhao Lu, Renxin Zhong

机构 * School of Intelligent Systems Engineering, Sun Yat-Sen University（中山大学智能系统工程学院） ； Beihang University（北京航空航天大学） ； Peking University（北京大学） ； Beijing University Of Posts and Telecommunications（北京邮电大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Xiamen University（厦门大学） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 本文提出AirNav数据集，包含137K自然多样指令的导航样本，评估了多种方法，提出AirVLN-R1模型在测试中取得51.82%的成功率，并通过实际无人机实验验证了仿真到现实的迁移能力。