AI Agent

Agent-Computer Observation Interfaces Enable Dynamic Computer Use

智能体-计算机观察接口实现动态计算机使用

Bojie Li, Noah Shi

机构 * Pine AI University of Washington（Pine AI华盛顿大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 提出智能体-计算机观察接口（AOI），通过关键帧捕获、音频转录和视觉叙述解耦观察与动作，使CU模型在动态任务中性能提升17-48个百分点。

GUICrafter: Weakly-Supervised GUI Agent Leveraging Massive Unannotated Screenshots

GUICrafter: 利用海量无标注截图的弱监督GUI智能体

Sunqi Fan, Lingshan Chen, Runqi Yin, Qingle Liu, Yongming Rao, Meng-Hao Guo, Shi-Min Hu

机构 * Tsinghua University（清华大学） ； Tencent Hunyuan（腾讯文脉） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 提出GUICrafter，一种利用海量无标注截图通过课程学习框架训练GUI智能体的弱监督方法，显著降低对人工标注的依赖，在极少量标注数据下性能超越UI-TARS等先进系统。

Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction

通过通用关键帧提取桥接VideoQA和视频引导的智能体任务

Sunqi Fan, Qingle Liu, Runqi Yin, Meng-Hao Guo, Shuojin Yang

专题命中 GUI与网页智能体 ：agentic(title,abstract)；分类 cs.AI

AI总结 提出VG-GUIBench基准和TASKER关键帧提取算法，联合考虑任务相关性和场景动态，在VideoQA和视频引导的GUI任务上提升性能。

Comments Accepted by ECCV 2026. Project Page: https://vg-gui-tasker.github.io/

Behind the Content: Wikipedia Mobile Views and Tourism Activity

内容背后：维基百科移动端浏览量与旅游活动

Lucas Eustache, Paul Favier

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 研究利用维基百科移动端浏览量作为高频、可解释的旅游活动指标，发现其与当日酒店需求和景点访客量正相关，优于桌面端浏览量。

Journal ref 31e Conf{é}rence de l'Association Information et Management, Association Information et Management, May 2026, Neuch{â}tel, Switzerland

Analyzing Uncertainty in the Spatial Representation of the Kinematic Bicycle Model

分析运动学自行车模型空间表示中的不确定性

Shafayat Abrar, M. Zaeem Baig, Shahir Ul Islam Anzal, Abdul Basit Memon

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 针对车辆运动学模型中的不确定性，采用泰勒级数线性化三角函数，推导了协方差矩阵的闭式表达式，与蒙特卡洛模拟吻合，首次完整给出了协方差矩阵的闭式解。

Journal ref In 2025 International Conference on Emerging Technologies in Electronics, Computing, and Communication (ICETECC) (pp. 1-6). IEEE

OpenFrontier: General Navigation with Visual-Language Grounded Frontiers

OpenFrontier: 基于视觉-语言基础的通用导航

Esteban Padilla-Cerdio, Boyang Sun, Marc Pollefeys, Hermann Blum

机构 * ETH Zurich（苏黎世联邦理工学院） ； Microsoft Spatial AI Lab（微软空间人工智能实验室） ； University of Bonn（波恩大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 本文提出OpenFrontier框架，通过稀疏子目标识别与到达问题实现高效导航，无需任务特定训练或微调，适用于多种视觉-语言先验模型，展示零样本性能和真实机器人部署效果。

Efficient-VLN: A Simple yet Strong Baseline for Efficient Vision-Language Navigation

Efficient-VLN: 一种高效且强大的视觉语言导航基线

Duo Zheng, Shijia Huang, Yanyang Li, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Weitu AI 纠错

专题命中 GUI与网页智能体 ：agent(abstract)

AI总结 Efficient-VLN通过三个简单有效机制解决视觉语言导航中的系统瓶颈，提升推理效率和训练稳定性，在R2R-CE和RxR-CE基准上取得新突破。

GuardianPWA: Enhancing Security Throughout the Progressive Web App Installation Lifecycle

GuardianPWA: 提升渐进式Web应用安装生命周期的安全性

Mengxiao Wang, Guofei Gu

专题命中 GUI与网页智能体 ：planning(abstract)

AI总结 本文提出GUARDIANPWA框架，基于CIA原则分析PWA安装机制，发现203处安全违规，揭示浏览器厂商在PWA安装生命周期中的隐私风险，并帮助开发者提升安全性。