视觉大模型 / VLM

World Action Planner: Generalizable Decision-Making with Action-Conditioned World Models

世界动作规划器：基于动作条件世界模型的通用决策方法

Xiangcheng Zhang, Yilun Du

机构 * Harvard University（哈佛大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 本研究提出World Action Planner机器人规划系统，结合VLMs与多任务位姿图像条件世界模型，可迭代优化动作规划，在组合任务、新布局等场景中泛化性能优于VLAs、WAMs等端到端策略模型。

Comments Project page at worldactionplanner.github.io

Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents

Qwen-UI-Agent技术报告：面向下一代以真实世界为中心的基础图形用户界面智能体

Hanzhang Zhou, Panrong Tong, Xu Zhang, Quyu Kong, Chenglin Cai, Tianyu Xia, Gongjie Zhang, Jianan Zhang, Long Li, Long Chen, Lei Wang, Gaole Dai, Pengxiang Li, Liangyu Chen, Yue Wang, Steven Hoi

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本研究推出以真实世界为中心的基础GUI智能体Qwen-UI-Agent，结合多环境与数据飞轮等机制，在移动端基准达最优，在多类任务上表现具竞争力。

Desktop-Delta Bench: Do Computer-Use Models Understand Desktop GUI Transitions?

桌面增量基准测试：计算机使用模型是否理解桌面GUI转换？

Abhishek Pillai, Samir Kumar Nayak, Yuan Chen

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究计算机使用模型对桌面GUI转换的理解，引入桌面增量基准测试（DDB）及其实例、任务，评估多个模型家族，发现排序不饱和，任务上下文对匹配有影响，单动作推断家族更难，DDB填补诊断层，助力改进桌面CUA。

Do World Action Models Generalize Better than VLAs? A Robustness Study

世界动作模型是否比视觉语言动作模型表现更好？一项鲁棒性研究

Zhanguang Zhang, Zhiyuan Li, Behnam Rahmati, Rui Heng Yang, Yintao Ma, Amir Rasouli, Sajjad Pakdamansavoji, Yangzheng Wu, Lingfeng Zhang, Tongtong Cao, Feng Wen, Xinyu Wang, Xingyue Quan, Yingxue Zhang

机构 * Huawei Technologies（华为技术有限公司） ； University of Toronto（多伦多大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文比较了最新状态的VLA策略和最近发布的WAMs，在不同视觉和语言扰动下评估其性能，发现WAMs在鲁棒性上表现更强，而VLA需要大量训练数据和多样化学习目标。