AI Agent

CutVerse: A Compositional GUI Agents Benchmark for Media Post-Production Editing

CutVerse: 一个用于媒体后期制作编辑的组合式GUI代理基准测试

Haobo Hu, Xiangwu Guo, Zhiheng Chen, Difei Gao, Haotian Liu, Libiao Jin, Qi Mao

机构 * MIPG, Communication University of China（MIPG，中国传媒大学） ； National University of Singapore（新加坡国立大学） ； USEIT AI（USEIT人工智能） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 本研究提出CutVerse，一个用于评估自主GUI代理在真实媒体后期制作环境中的能力的基准测试，揭示现有代理在复杂、长周期媒体后期制作工作流中的局限性。

AQuaUI: Visual Token Reduction for GUI Agents with Adaptive Quadtrees

AQuaUI: 用于GUI代理的视觉令牌减少方法基于自适应四叉树

Yuankai Li, Tinghui Zhu, Ha Min Son, Zhe Zhao, Xin Liu, Muhao Chen

机构 * UC Davis（加州大学戴维斯分校） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出AQuaUI，一种无需训练的推理时GUI代理模型的视觉令牌减少方法，利用屏幕截图中的非均匀信息密度，通过自适应四叉树结构保持令牌位置以确保一致性，并通过条件四叉树算法提升多步骤GUI交互的时序一致性，实验表明其在准确性和效率之间取得了改进。

SimGym: A Framework for A/B Test Simulation in E-Commerce with Traffic-Grounded VLM Agents

SimGym：一种用于电子商务A/B测试模拟的框架，使用基于流量的VLM代理

Han Li, Vibhor Malik, Zahra Zanjani Foumani, Alberto Castelo, Shuang Xie, Ailin Fan, Keat Yang Koay, Yuanzheng Zhu, Meysam Feghhi, Ronie Uliana, Zhaoyu Zhang, Angelo Ocana Martins, Mingyu Zhao, Francis Pelland, Jonathan Faerman, Nikolas LeBlanc, Aaron Glazer, Andrew McNamara, Zhong Wu, Lingyun Wang

机构 * Shopify 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出SimGym框架，通过基于流量的VLM代理模拟电子商务A/B测试，解决真实测试周期长、风险高等问题，验证结果显示其能快速准确预测用户行为变化。

Emergence of a Flow-Assisted Casting Strategy for Olfactory Navigation via Memory-Augmented Reinforcement Learning

气味导航中通过记忆增强强化学习的流辅助铸造策略的出现

Changxu Zhao, Dongxiao Zhao, Xin Bian, Gaojin Li

机构 * State Key Laboratory of Ocean Engineering, School of Ocean and Civil Engineering, Shanghai Jiao Tong University, Shanghai 200240, People’s Republic of China（海洋工程国家重点实验室，海洋与土木工程学院，上海交通大学，上海200240，中华人民共和国） ； State Key Laboratory of Fluid Power and Mechatronic Systems, Department of Engineering Mechanics, Zhejiang University, Hangzhou 310027, People’s Republic of China（流体动力与机械系统国家重点实验室，工程力学系，浙江大学，杭州310027，中华人民共和国） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 研究通过记忆增强强化学习探讨了在动态流场中动物如何利用记忆长度和流条件优化气味搜索效率，发现智能体通过自适应调整搜索轨迹几何形状和启动铸造的浓度阈值来最大化成功概率。

OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments

OmniGUI: 评估多模态智能手机环境中的GUI代理的基准测试

Felix Henry, Xiaochen Lin, Jiangyou Zhu, Yangfan, Bingqian Zhang, Min Chen, Shiyu Huang

机构 * XPeng Motors（小鹏汽车） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出OmniGUI基准测试，用于评估在多模态智能手机环境中GUI代理的能力，通过连续的多模态输入（包括静态图像、同步音频和视频片段）来模拟真实世界交互，发现当前模型在需要同步时间和听觉信号的环境中表现下降。

RGB-only Active 3D Scene Graph Generation for Indoor Mobile Robots

仅RGB的主动3D场景图生成用于室内移动机器人

Giorgia Modi, Davide Buoso, Giuseppe Averta, Daniele De Martini

机构 * Mobile Robotics Group (MRG)（移动机器人小组） ； Visual and Multimodal Applied Learning Lab (VANDAL)（视觉与多模态应用学习实验室） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 本文提出了一种仅使用RGB输入的主动3D场景图生成方法，通过统一感知与规划的结构化表示，解决了传统方法对专用传感器的依赖问题，并在Replica数据集上验证了其有效性。

TClone: Low-Latency Forking of Live GUI Environments for Computer-Use Agents

TClone：用于计算机使用代理的低延迟活GUI环境分叉

Yutong Huang, Vikranth Srivatsa, Alex Asch, Hansin Tushar Patwa, Yiying Zhang

机构 * University of California, San Diego（加州大学圣迭戈分校） ； GenseeAI 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 TClone通过分离快速分支创建与持久快照，实现了对计算机使用代理的活GUI环境的低延迟版本控制，从而提高代理执行的安全性和质量。

Goal inference with Rao-Blackwellized Particle Filters

基于 Rao-Blackwellized 粒子滤波器的目标推断

Yixuan Wang, Dan P. Guralnik, Warren E. Dixon

机构 * Mechanical \& Aerospace Engineering Department, University of Florida. ； Mathematics Department, Ohio University 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 本文提出利用改进的 Rao-Blackwellized 粒子滤波器推断移动智能体的目标，通过闭合环行为假设提升样本效率，并引入两种估计器评估对抗者恢复意图的能力。

Comments 6 pages, 3 figures. Accepted for presentation at the 23rd IFAC World Congress 2026, Busan, Republic of Korea, August 23-28, 2026. To appear in IFAC-PapersOnLine

ShopGym: An Integrated Framework for Realistic Simulation and Scalable Benchmarking of E-Commerce Web Agents

ShopGym: 一个集成框架，用于电子商务网络代理的现实模拟和可扩展基准测试

Chinmay Savadikar, Mingyu Zhao, Yuanzheng Zhu, Han Li, Shuang Xie, Alberto Castelo, Tianfu Wu, Lingyun Wang

机构 * North Carolina State University（北卡罗来纳州立大学） ； Shopify 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出ShopGym框架，通过模拟层ShopArena和基准层ShopGuru，实现电子商务网络代理的现实模拟与可扩展基准测试，验证了合成商店在结构属性和代理性能上的有效性。

Comments 32 pages, 10 figures

ScreenSearch: Uncertainty-Aware OS Exploration

ScreenSearch: 带有不确定性的操作系统探索

Michael Solodko, Justin Wagle

机构 * Microsoft（微软） 纠错

专题命中 GUI与网页智能体 ：workflow(abstract)；分类 cs.AI

AI总结 ScreenSearch通过结合结构化屏幕检索与基于不确定性的PUCT图强化学习，在大规模桌面探索中有效平衡探索与承诺，生成具有跨应用多样性的探索语料库。

Comments 14 pages, 9 figures, 4 tables

ProCompNav: Proactive Instance Navigation with Comparative Judgment for Ambiguous User Queries

ProCompNav：基于比较判断的主动实例导航

Junhyuk Kwon, Seungjoon Lee, Hyejin Park, Kyle Min, Jungseul Ok

机构 * GSAI, POSTECH（POSTECH人工智能研究所） ； CSE, POSTECH（POSTECH计算机科学与工程系） ； Oracle（Oracle公司） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 ProCompNav通过两阶段框架解决用户查询歧义问题，通过比较判断逐步缩小候选集，提升导航成功率并减少用户响应长度。

Comments Project page: https://tree-jhk.github.io/procompnav/ . Code: https://github.com/tree-jhk/procompnav/

Autonomous Intelligent Agents for Natural-Language-Driven Web Execution with Integrated Security Assurance

自然语言驱动的网页执行自主智能体与集成安全保障

Vinil Pasupuleti, Siva Rama Krishna Varma Bayyavarapu, Shrey Tyagi

机构 * International Business Machines (IBM)（国际商业机器公司（IBM）） ； Salesforce Inc（Salesforce公司） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出一种AI驱动的自动化测试框架，通过五个集成策略提升测试脚本生成成功率和导航可靠性，同时实现安全验证，检测认证绕过漏洞和输入验证缺陷。

Comments 6 pages, 4 figures, 5 tables, IEEE conference format

WARD: Adversarially Robust Defense of Web Agents Against Prompt Injections

WARD: 用于对抗Web代理对抗提示注入的鲁棒防御

Tri Cao, Yulin Chen, Hieu Cao, Yibo Li, Khoi Le, Thong Nguyen, Yuexin Li, Yufei He, Yue Liu, Shuicheng Yan, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） ； University of Science（科学大学） ； Vietnam National University, Ho Chi Minh City（越南国家大学，胡志明市） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 WARD通过WARD-Base和WARD-PIG数据集及A3T框架，实现高效鲁棒的Web代理防御，有效应对提示注入攻击，保持低误报率和高效运行。

Comments Code and models: https://github.com/caothientri2001vn/WARD-WebAgent

Don't Click That: Teaching Web Agents to Resist Deceptive Interfaces

别点那个：教网络代理抵抗欺骗界面

Yilin Zhang, Yingkai Hua, Chunyu Wei, Xin Wang, Yueguo Chen

机构 * Renmin University of China（中国人民大学） ； Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出DUDE框架，通过混合奖励学习和不对称惩罚，结合经验总结，提升网络代理对欺骗界面的抵抗力，实验显示欺骗敏感度降低53.8%。

Comments Accepted to ACL 2026 Main Conference. 23 pages, 8 figures, 19 tables

Talk to Your Slides: High-Efficiency Slide Editing via Language-Driven Structured Data Manipulation

与幻灯片对话：通过语言驱动的结构化数据操作实现高效幻灯片编辑

Kyudan Jung, Hojun Cho, Jooyeol Yun, Soyoung Yang, Jaehyeok Jang, Jaegul Choo

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL

AI总结 本文提出Talk-to-Your-Slides，通过语言驱动的结构化数据操作实现高效幻灯片编辑，相较于基于图像的GUI方法，其在文本处理和格式任务中更快、更准确且成本更低。

Comments 30 pages, Accepted at ACL2026

WebTrap: Stealthy Mid-Task Hijacking of Browser Agents During Navigation

WebTrap: 隐秘的中任务劫持攻击浏览器代理在导航过程中的行为

Zhichao Liu, Wenbo Pan, Haining Yu, Ge Gao, Tianqing Zhu, Xiaohua Jia

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； City University of Hong Kong（香港城市大学） ； City University of Macau（澳门城市大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 WebTrap通过多步骤指令融合引导实现浏览器代理在导航任务中的隐秘劫持，提升攻击成功率同时保持系统可用性。

Comments 31 pages, 4 figures, 10 tables. Code: https://github.com/liuyaojialiuyaojia/WebTrap

AgentProg: Empowering Long-Horizon GUI Agents with Program-Guided Context Management

AgentProg: 通过程序引导的上下文管理赋能长周期GUI代理

Shizuo Tian, Hao Wen, Yuxuan Chen, Jiacheng Liu, Shanhui Zhao, Guohong Liu, Ju Ren, Yunxin Liu, Yuanchun Li

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出AgentProg，通过将交互历史重构为程序结构，实现长周期GUI任务的高效上下文管理，实验表明其在AndroidWorld和扩展任务集上达到最优性能，并在长周期任务中保持稳健表现。

Comments 16 pages, 8 figures

WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

WebGym: 通过现实任务扩大视觉网络代理的训练环境

Hao Bai, Alexey Taymanov, Tong Zhang, Aviral Kumar, Spencer Whitehead

机构 * Microsoft（微软） ； UIUC（伊利诺伊大学香槟分校） ； CMU（卡内基梅隆大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 WebGym通过大规模现实任务和异步轨迹采样系统提升视觉网络代理训练效果，使基座模型在分布外测试集上的成功率显著提升。

Comments Completed acknowledgements

NaviMaster: Learning a Unified Policy for GUI and Embodied Navigation Tasks

NaviMaster: 学习GUI和具身导航任务的统一策略

Zhihao Luo, Wentao Yan, Jingyu Gong, Min Wang, Zhizhong Zhang, Xuhong Wang, Yuan Xie, Xin Tan

机构 * East China Normal University（东华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； SenseTime Research（商汤科技研究院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 本文提出NaviMaster，通过统一框架整合GUI导航和具身导航，采用视觉目标轨迹收集管道、统一强化学习框架和距离感知奖励，提升泛化能力。

Comments ACL 2026 Main Camera Ready

GUI Agents with Reinforcement Learning: Toward Digital Inhabitants

具有强化学习的图形用户界面代理：迈向数字居民

Junan Hu, Jian Liu, Jingxiang Lai, Jiarui Hu, Yiwei Sheng, Shuang Chen, Jian Li, Dazhao Du, Song Guo

机构 * Shandong University（山东大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong University（香港大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tencent（腾讯） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文探讨了强化学习与GUI代理的结合，提出分类体系及趋势分析，旨在指导下一代鲁棒GUI自动化及基础设施发展。

Comments Project Page: https://github.com/Steve2457/Awesome-RL-GUI-Agents

AutoSurfer -- Teaching Web Agents through Comprehensive Surfing, Learning, and Modeling

AutoSurfer -- 通过全面浏览、学习和建模教学网络代理

Fazle Elahi Faisal, Qianhui Wu, Baolin Peng, Jianfeng Gao

机构 * Microsoft Research（微软研究院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 AutoSurfer通过系统性广度优先探索策略、任务合成引导和轨迹优化，实现全面覆盖网站操作空间，提升网络代理轨迹生成的准确性和多样性。

Comments 21 pages, 3 figures

Where Did It Go Wrong? Capability-Oriented Failure Attribution for Vision-and-Language Navigation Agents

哪里出错了？面向视觉-语言导航代理的能力导向故障归因

Jianming Chen, Yawen Wang, Junjie Wang, Xiaofei Xie, Shoubin Li, Qing Wang, Fanjiang Xu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Science & Technology on Integrated Information System Laboratory（信息集成信息系统实验室） ； State Key Laboratory of Complex System Modeling and Simulation Technology（复杂系统建模与仿真技术国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 本文提出一种能力导向的测试方法，通过自适应测试用例生成、能力 oracle 和反馈机制，准确归因视觉-语言导航代理的故障原因，提升系统可解释性和改进效果。

Journal ref ACL 2026

MPR-GUI: Benchmarking and Enhancing Multilingual Perception and Reasoning in GUI Agents

MPR-GUI：多语言感知与推理GUI代理的基准测试与增强

Ruihan Chen, Qiming Li, Xiaocheng Feng, Weihong Zhong, Xiaoliang Yang, Yuxuan Gu, Zekun Zhou, Yunfei Lu, Haoyu Ren, Kun Chen, Dandan Tu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出MPR-GUI-Bench，通过六种语言和八个细粒度任务评估多语言GUI代理的感知与推理能力，并提出GUI-XLI方法以缩小跨语言差距。

Comments 35pages, 15figures

Anonymization-Enhanced Privacy Protection for Mobile GUI Agents: Available but Invisible

增强隐私保护的移动GUI代理：可用但不可见

Lepeng Zhao, Zhenhua Zou, Shuo Li, Zhuotao Liu

机构 * Tsinghua University（清华大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 本文提出一种基于匿名化的隐私保护框架，通过检测敏感UI内容并替换为非识别性占位符，实现敏感信息在任务执行中可用但不可见，减少隐私泄露同时保持代理的无缝使用。

Comments 15 pages, 4 figures

From Task to Tutorial: An Automated GUI Framework for Excel Tutorial Document and Video Creation

从任务到教程：一种自动化生成Excel教程文档和视频的GUI框架

Yuhang Xie, Jian Mu, Xiaojun Ma, Chaoyun Zhang, Lu Wang, Mengyu Zhou, Mugeng Liu, Si Qin, Qingwei Lin, Saravan Rajmohan, Shi Han, Dongmei Zhang

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.SE

AI总结 本文提出首个自动化生成Excel教程的框架，通过自然语言任务描述生成结构化文档和视频，提升教程质量和效率，减少人工劳动。

On the Reliability of Computer Use Agents

关于计算机使用代理的可靠性

Gonzalo Gonzalez-Pumariega, Saaket Agashe, Jiachen Yang, Ang Li, Xin Eric Wang

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI

AI总结 研究计算机使用代理可靠性问题，分析执行中的随机性、任务描述模糊性和代理行为差异三大因素，发现任务指定和代理行为变化影响可靠性，需通过重复执行评估并提升稳定性。

Comments 33 pages, 3 figures, 4 tables

NaturalGAIA: A Verifiable Benchmark and Hierarchical Framework for Long-Horizon GUI Tasks

NaturalGAIA：一个可验证的基准和分层框架用于长周期GUI任务

Zihan Zheng, Tianle Cui, Taoran Wang, Fengtao Wang, Jiahui Pan, Lewei He, Qianglong Chen

机构 * South China Normal University（华南师范大学） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 本文提出NaturalGAIA，通过真实人类GUI交互意图构建可验证评估数据集，结合LightManus-Jarvis框架，实现复杂自然任务的宏规划与微执行，实验显示其在路径成功率、token消耗和执行时间上均优于现有方法。

NaviFormer: A Deep Reinforcement Learning Transformer-like Model to Holistically Solve the Navigation Problem

NaviFormer：一种深度强化学习变换器模型，以整体解决导航问题

Daniel Fuertes, Andrea Cavallaro, Carlos R. del-Blanco, Fernando Jaureguizar, Narciso García

机构 * Grupo de Tratamiento de Imágenes, Information Processing and Telecommunications Center, ETSI Telecomunicación, Universidad Politécnica de Madrid（图像处理与电信中心，信息处理与电信中心，电信工程学院，马德里理工大学） ； Idiap Research Institute（Idiap研究机构） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI

AI总结 NaviFormer通过预测高层路线和底层轨迹，整体解决导航问题，实验表明其在准确性和计算速度上表现优异，适用于实时任务。

Comments Published in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2025

The Spectrascapes Dataset: Street-view imagery beyond the visible captured using a mobile platform

Spectrascapes数据集：使用移动平台捕捉超出可见光范围的街道视图影像

Akshit Gupta, Joris Timmermans, Filip Biljecki, Remko Uijlenhoet

机构 * TU Delft（代尔夫特理工大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.LG

AI总结 本文提出首个公开的多光谱地面视图数据集，通过自行车搭载RGB、近红外和热成像传感器，在荷兰不同城市形态中采集17718张高分辨率多光谱图像，克服传统方法的局限，应用于城市规划和遥感领域。

Comments Submitted, under-review

UI-Copilot: Advancing Long-Horizon GUI Automation via Tool-Integrated Policy Optimization

UI-Copilot: 通过工具集成策略优化推进长周期GUI自动化

Zhengxi Lu, Fei Tang, Guangyi Liu, Kaitao Song, Xu Tan, Jin Ma, Wenqi Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

机构 * Zhejiang University（浙江大学） ； Apple（苹果公司） ； Tencent（腾讯） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG

AI总结 本文提出UI-Copilot框架，通过分离持久观察与临时执行上下文实现内存解耦，结合工具集成策略优化提升长周期GUI任务性能，实验显示其在MemGUI-Bench和AndroidWorld上均优于现有模型。