Video2GUI: Synthesizing Large-Scale Interaction Trajectories for Generalized GUI Agent Pretraining
Video2GUI:合成大规模交互轨迹用于通用GUI代理预训练
机构 * National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University(国家多媒体信息处理重点实验室,计算机科学学院,北京大学) ; The University of Hong Kong(香港大学) ; Renmin University of China(中国人民大学)
专题命中 GUI与网页智能体 :agent(title,abstract);分类 cs.AI、cs.CL、cs.LG
AI总结 本文提出Video2GUI框架,通过自动提取互联网视频中的GUI交互轨迹,生成大规模数据集WildGUI,提升了GUI代理的泛化能力。
Comments Accepted at ICML 2026