视觉大模型 / VLM

PIGEON: VLM-Driven Object Navigation via Points of Interest Selection

PIGEON: 通过兴趣点选择的VLM驱动物体导航

Cheng Peng, Zhenzhe Zhang, Xiaobao Wei, Yanhao Zhang, Heng Wang, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Shanghang Zhang, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） ； Peking University（北京大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出PIGEON框架，将物体导航建模为基于原始观测的稀疏决策问题，通过兴趣点（PoI）作为视觉决策单元，结合VLM选择关键点，实现零样本SOTA性能并迁移至主动具身问答。

How Auxiliary Reasoning Unleashes GUI Grounding in VLMs

辅助推理如何释放VLM中的GUI定位能力

Weiming Li, Yan Shao, Jing Yang, Yujing Lu, Ling Zhong, Yuhan Wang, Min Yu, Tongxiao Ruan, Manni Duan

机构 * Zhejiang Lab（浙江实验室） ； Hangzhou Research and Development Center（杭州研发中心） ； China Mobile（中国移动） ； Innovation Center of Yangtze River Delta（长江三角洲创新中心） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title_cn,summary_cn)；grounding(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对VLM在GUI定位任务中隐式空间理解强但显式坐标输出弱的问题，提出三种零样本辅助推理方法（如标记网格），通过输入图像添加空间线索，显著提升定位性能，在多个基准上达到接近最优微调方法的效果。

Grounding Computer Use Agents on Human Demonstrations

基于人类演示的计算机使用智能体基础构建

Aarash Feizi, Shravan Nayak, Xiangru Jian, Kevin Qinghong Lin, Kaixin Li, Rabiul Awal, Xing Han Lù, Johan Obando-Ceron, Juan A. Rodriguez, Nicolas Chapados, David Vazquez, Adriana Romero-Soriano, Reihaneh Rabbany, Perouz Taslakian, Christopher Pal, Spandana Gella, Sai Rajeswar

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； ServiceNow Research（ServiceNow研究） ； University of Waterloo（滑铁卢大学） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； École de Technologie Supérieure（高级技术学院） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.AI、cs.LG

AI总结 为解决桌面环境高质量基础数据稀缺问题，构建了包含87个应用、56K截图和3.56M人工标注的GroundCUA数据集，并基于此训练GroundNext模型，在5个基准上以少于先前十分之一的数据取得最优结果。

Comments Accepted at ICLR 2026

GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation

GEAR-VLA：学习几何感知的动作表示以实现可泛化的机器人操作

Yuan Zhang, Shiqi Zhang, Yedong Shen, Shuai Dong, Jiajun Deng, Xin Zhang, Yuxuan Gao, Jiajia Wu, Xin Nie, Zhiyuan Cheng, Jianmin Ji, Yanyong Zhang, Xingyi Zhang, Jia Pan

机构 * Anhui University（安徽大学） ； University of Science and Technology of China（中国科学技术大学） ； iFLYTEK（科大讯飞） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出GEAR-VLA框架，通过粗到细的动作学习、语义对齐的3D集成和具身规范化，学习统一的几何感知动作表示，实现跨物体、背景和机器人的泛化操作。

UI2Code^N: UI-to-Code Generation as Interactive Visual Optimization

UI2Code^N: 将UI到代码生成视为交互式视觉优化

Zhen Yang, Wenyi Hong, Mingde Xu, Xinyue Fan, Weihan Wang, Jiale Cheng, Xiaotao Gu, Jie Tang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出将UI截图转代码任务重构为交互式视觉优化问题，采用基于偏好的强化学习方法RVPO优化视觉排名，在UI起草、润色和编辑任务上达到SOTA。

Comments 27 pages

World Pilot: Steering Vision-Language-Action Models with World-Action Priors

World Pilot: 用世界动作先验引导视觉-语言-动作模型

Zefu Lin, Rongxu Cui, Junjia Xu, Xiaojuan Jin, Wenling Li, Lue Fan, Zhaoxiang Zhang

机构 * Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； Nanjing University（南京大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 提出World Pilot框架，通过世界动作模型（WAM）的潜在引导和动作引导两条路径，为VLA模型提供场景演化先验和轨迹级运动提示，在LIBERO-Plus零样本OOD基准上达到84.7%的总成功率，并在多个真实机器人操作任务中取得最高成功率。

Comments Project Website: https://world-pilot.github.io/

Food4All: An Agentic Framework and Benchmark for Food Resource Navigation with Adaptive User Understanding

Food4All: 一种具有自适应用户理解能力的食物资源导航智能体框架与基准

Yiyang Li, Weixiang Sun, Tianyi Ma, Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

机构 * University of Notre Dame（诺特大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 提出Food4All框架，结合食物搜索工具与300个多轮评估任务，在686个印第安纳食物资源上评估六种大语言模型，诊断其在约束条件处理和非理想用户交互中的不足。

Comments We have further refined the benchmark construction and experimental presentation to improve clarity and consistency. The revised version includes updated task design, food-resource data, and evaluation details to better align the benchmark with the intended food resource referral setting. These changes provide a more precise presentation of the experimental findings