AI Agent

SE-GA: Memory-Augmented Self-Evolution for GUI Agents

SE-GA：基于记忆的自进化GUI代理

Shilong Jin, Lanjun Wang, Zhuosheng Zhang

机构 * College of Intelligence and Computing, Tianjin University, Tianjin, China（天津大学智能与计算学院） ； School of New Media and Communication, Tianjin University, Tianjin, China（天津大学新媒体与传播学院） ； School of Computer Science, Shanghai Jiao Tong University, Shanghai, China（上海交通大学计算机科学学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.LG

AI总结 本文提出SE-GA框架，通过整合分层记忆结构和迭代自我改进机制，解决GUI代理在多步骤任务中因上下文窗口受限和静态策略无法适应动态环境的问题，实验表明其在多个基准测试中均达到领先性能。

Comments Accepted by ICML 2026

NaviRAG: Towards Active Knowledge Navigation for Retrieval-Augmented Generation

NaviRAG：迈向检索增强生成的主动知识导航

Jihao Dai, Dingjun Wu, Yuxuan Chen, Zheni Zeng, Yukun Yan, Zhenghao Liu, Maosong Sun

机构 * Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Northeastern University（东北大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.CL

AI总结 NaviRAG通过主动知识导航框架提升检索增强生成的复杂任务处理能力，通过分层知识组织和动态信息检索提高检索准确率和生成性能。

PAGER: Bridging the Semantic-Execution Gap in Point-Precise Geometric GUI Control

PAGER:弥合点精确几何GUI控制中的语义-执行鸿沟

Jingxuan Wei, Xi Bai, Shan Liu, Caijun Jia, Zheng Sun, Xinglong Xu, Siyuan Li, Linzhuang Sun, Bihui Yu, Conghui He, Cheng Tan

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； China University of Petroleum-Beijing（中国石油大学（北京）） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出PAGER，通过依赖结构规划与像素级执行，解决对点精确几何GUI任务的需求，提升任务成功率至62%以上，填补语义-执行鸿沟。

Comments 27 pages, 11 figures, 3 tables

GUIGuard-Bench: Toward a General Evaluation for Privacy-Preserving GUI Agents

GUIGuard-Bench：面向隐私保护GUI代理的通用评估

Yanxi Wang, Zhiling Zhang, Wenbo Zhou, Weiming Zhang, Jie Zhang, Qiannan Zhu, Yu Shi, Shuxin Zheng, Jiyan He

机构 * Beijing Normal University（北京师范大学） ； Zhongguancun Academy（中关村学院） ； University of Science and Technology of China（中国科学技术大学） ； A*STAR ； Zhongguancun Institution of Artificial Intelligence（中关村人工智能研究所） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 GUIGuard-Bench通过241个真实GUI代理轨迹和4080张截图，评估隐私保护GUI代理的隐私识别、规划一致性和保护策略影响，揭示隐私识别是实际应用中的关键瓶颈。

PROPER Agents: Proactivity Driven Personalized Agents for Advancing Knowledge Gap Navigation

PROPER代理：基于主动性的个性化代理以推进知识缺口导航

Kirandeep Kaur, Vinayak Gupta, Aditya Gupta, Chirag Shah

机构 * University of Washington（华盛顿大学） ； Chan Zuckerberg Biohub（查纳·楚克生物枢纽） 纠错

专题命中 GUI与网页智能体 ：agent(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出PROPER框架，通过显式建模用户特定的知识缺口，改进主动帮助系统，提升任务完成质量与效率。

Comments ACL 2026

PlayCoder: Making LLM-Generated GUI Code Playable

PlayCoder: 使LLM生成的GUI代码可播放

Zhiyuan Peng, Wei Tao, Xin Yin, Chenhao Ying, Yuan Luo, Yiwen Guo

专题命中 GUI与网页智能体 ：agent(abstract)；multi-agent(abstract)；分类 cs.SE

AI总结 本文提出PlayCoder框架，通过生成、评估和迭代修复GUI代码，提升代码的逻辑正确性和语义对齐，实现功能正确性和交互逻辑的改进。

Comments September 11, 2025 Submitted to FSE2026

HalluClear: Diagnosing, Evaluating and Mitigating Hallucinations in GUI Agents

HalluClear：诊断、评估和缓解GUI代理中的幻觉

Chao Jin, Wenkui Yang, Hao Sun, Yuqi Liao, Qianyi Jiang, Kai Zhou, Jie Cao, Ran He, Huaibo Huang

机构 * MAIS&NLPR, Institute of Automation, Chinese Academy of Sciences（自动化研究所人工智能与自然语言处理实验室，中国科学院） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Meituan（美团） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 HalluClear通过引入专门的幻觉分类、校准的评估流程和闭环推理方案，有效减少GUI代理中的幻觉，提升自动化可靠性。

Comments 47 pages, 44 figures

Towards Scalable Lightweight GUI Agents via Multi-role Orchestration

通过多角色编排实现可扩展的轻量级GUI代理

Ziwei Wang, Junjie Zheng, Leyang Yang, Sheng Zhou, Xiaoxuan Tang, Zhouhua Fang, Zhiwei Liu, Dajun Chen, Yong Li, Jiajun Bu

机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University（浙江可及感知与智能系统重点实验室，浙江大学） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； AntGroup（蚂蚁集团） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出LAMO框架，通过多角色编排提升轻量级GUI代理的任务扩展性，开发出支持单体执行和多代理系统编排的LAMO-3B代理，结合先进规划器实现持续性能提升。

Comments Findings of ACL 2026

ProRe: A Proactive Reward System for GUI Agents via Reasoner-Actor Collaboration

ProRe：通过推理器-执行器协作的GUI代理前瞻性奖励系统

Gaole Dai, Shiqi Jiang, Ting Cao, Yuqing Yang, Yuanchun Li, Rui Tan, Mo Li, Lili Qiu

机构 * NTU（国立新加坡大学） ； Microsoft Research（微软研究院） ； Tsinghua University（清华大学） ； HKUST（香港理工大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract,abstract_cn)；分类 cs.AI

AI总结 ProRe通过推理器与领域特定评估器协作，提升GUI代理奖励准确性与F1分数，实验显示奖励准确性和F1分数提升达5.3%和19.4%。

Comments 23 pages, 12 figures, ICLR'2026

Journal ref The Fourteenth International Conference on Learning Representations, 2026

Invisible to Humans, Triggered by Agents: Stealthy Jailbreak Attacks on Mobile Vision-Language Agents

对人类不可见，由智能体触发：针对移动视觉-语言智能体的隐秘劫持攻击

Renhua Ding, Xiao Yang, Zhengwei Fang, Jun Luo, Kun He, Jun Zhu

机构 * School of Computer Science, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University（清华大学计算机科学与技术系、人工智能研究院、清华-博世机器学习联合中心、清华脑与智能实验室、北京国家信息科学与技术研究中心） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出了一种隐秘的劫持攻击方法，通过智能体交互时的感知注入，避免被人类察觉，同时在移动设备上有效绕过安全过滤器。

A Comprehensive Survey of Agents for Computer Use: Foundations, Challenges, and Future Directions

用于计算机的代理全面综述：基础、挑战与未来方向

Pascal J. Sager, Benjamin Meyer, Peng Yan, Rebekka von Wartburg-Kottler, Layan Etaiwi, Aref Enayati, Gabriel Nobel, Ahmed Abdulkadir, Benjamin F. Grewe, Thilo Stadelmann

机构 * Zurich University of Applied Sciences（苏黎世应用科技大学） ； University of Zurich（苏黎世大学） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； University of Fribourg（弗里堡大学） ； European Centre for Living Technology（欧洲生活技术中心） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文综述了用于计算机的代理（ACUs）的发展现状、趋势及研究空白，提出统一的分类体系，分析了六个主要研究缺口，并提出改进方向。

Journal ref Journal of Artificial Intelligence Research, vol. 85, 2026

Audio Spatially-Guided Fusion for Audio-Visual Navigation

音频空间引导融合用于音频视觉导航

Xinyu Zhou, Yinfeng Yu

机构 * Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学联合研究实验室，具身智能） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语言认知计算国际联合研究实验室） ； School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出一种音频空间引导融合方法，通过自适应提取空间状态信息，实现多模态特征动态对齐与融合，提升在未知声源分布下的导航泛化能力。

Comments Main paper (6 pages). Accepted for publication by the International Joint Conference on Neural Networks (IJCNN 2026)

C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents

C-STEP：连续时空赋能用于物理引导的移动智能体安全强化学习

Guihlerme Daubt, Adrian Redder

机构 * Faculty of Technology, Bielefeld University, Germany（比勒菲尔德大学技术学院，德国） ； Department of Electrical Engineering and Information Technology, Paderborn University, Germany（帕德博恩大学电气工程与信息科技系，德国） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；agentic(abstract)；分类 cs.LG

AI总结 本文提出C-STEP方法，通过结合导航奖励设计物理引导的内在奖励，提升移动智能体在复杂环境中的安全导航能力，减少碰撞并优化任务完成。

PowerLens: Taming LLM Agents for Safe and Personalized Mobile Power Management

PowerLens：利用大语言模型安全且个性化地管理移动设备电源

Xingyu Feng, Chang Sun, Yuzhu Wang, Zhangbing Zhou, Chengwen Luo, Zhuangzhuang Chen, Xiaomin Ouyang, Huanqi Yang

机构 * China University of Geosciences (Beijing)（中国地质大学（北京）） ； Shenzhen University（深圳大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 PowerLens通过利用大语言模型的常识推理，实现安全且个性化的移动电源管理。系统通过用户活动与系统参数之间的语义桥梁，生成适应个人偏好的零样本策略，通过隐式反馈学习用户偏好，无需显式配置，3-5天内收敛。

OS-Themis: A Scalable Critic Framework for Generalist GUI Rewards

OS-Themis：一种可扩展的通用GUI奖励批评框架

Zehao Li, Zhenyu Wu, Yibo Zhao, Bowen Yang, Jingjing Xie, Zhaoyang Liu, Zhoumianze Liu, Kaiming Jin, Jianze Liang, Zonglin Li, Feng Wu, Bowen Zhou, Zun Wang, Zichen Ding

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； CUHK MMLab（香港中文大学多模态实验室） ； The Hong Kong University of Science and Technology（香港科学大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出OS-Themis框架，通过分解轨迹为可验证里程碑并采用审核机制，提升GUI奖励的可扩展性和准确性，实验表明其在AndroidWorld中提升了在线强化学习和轨迹验证的性能。

EfficientNav: Towards On-Device Object-Goal Navigation with Navigation Map Caching and Retrieval

EfficientNav: 面向设备端目标物体导航的导航地图缓存与检索

Zebin Yang, Sunjian Zheng, Tong Xie, Tianshi Xu, Bo Yu, Fan Wang, Jie Tang, Shaoshan Liu, Meng Li

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； School of Integrated Circuits, Peking University（北京大学集成电路学院） ； Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院） ； School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院） ； Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路先进制造创新中心） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出EfficientNav，通过语义感知记忆检索和离散记忆缓存技术，在设备端实现零样本目标物体导航，提升成功率并降低规划延迟。

Comments NeurIPS 2025

Jagarin: A Three-Layer Architecture for Hibernating Personal Duty Agents on Mobile

Jagarin：一种用于移动设备上休眠个人责任代理的三层架构

Ravi Kiran Kadaboina

机构 * Independent Researcher（独立研究者） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 Jagarin通过三层架构解决移动设备上个人责任代理的休眠与唤醒问题，利用启发式引擎、身份代理和协议框架实现高效的责任管理。

Comments 12 pages, 4 figures

GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments?

GhostEI-Bench: 移动代理在动态设备环境中的环境注入鲁棒性研究

Chiyu Chen, Xinhao Song, Yunkai Chai, Yang Yao, Haodong Zhao, Lijun Li, Jie Li, Yan Teng, Gongshen Liu, Yingchun Wang

机构 * Shanghai Jiao Tong University, School of Computer Science（上海交通大学计算机科学学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 GhostEI-Bench通过动态环境注入攻击评估移动代理的鲁棒性，揭示现有模型对欺骗性UI的脆弱性，并提供量化和缓解该威胁的框架。

Towards Trustworthy GUI Agents: A Survey

迈向可信的GUI代理：综述

Yucheng Shi, Wenhao Yu, Jingyuan Huang, Wenlin Yao, Wenhu Chen, Ninghao Liu

机构 * University of Georgia（佐治亚大学） ； Tencent AI Seattle Lab（腾讯AI西雅图实验室） ； Microsoft Research（微软研究院） ； University of Waterloo（滑铁卢大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；workflow(abstract)；分类 cs.LG

AI总结 本文综述了GUI代理的可信度挑战，提出信任分类法并分析了信任评估与安全可靠部署的开放问题。

Comments 14 pages, work in process

Curiosity Driven Knowledge Retrieval for Mobile Agents

基于好奇心的知识检索用于移动代理

Sijia Li, Xiaoyu Tan, Shahir Ali, Niels Schmidt, Gengchen Ma, Xihe Qiu

机构 * Shanghai University of Engineering Science（上海工程技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 本研究提出一种基于好奇心的知识检索框架，通过结构化AppCards提升移动代理在复杂任务中的规划可靠性与执行稳定性。

EvoCUA: Evolving Computer Use Agents via Learning from Scalable Synthetic Experience

EvoCUA：通过可扩展的合成经验学习来进化计算机使用代理

Taofeng Xue, Chong Peng, Mianqiu Huang, Linsen Guo, Tiancheng Han, Haozhe Wang, Jianing Wang, Xiaocheng Zhang, Xin Yang, Dengchang Zhao, Jinrui Ding, Xiandi Ma, Yuchen Xie, Peng Pei, Xunliang Cai, Xipeng Qiu

机构 * Meituan（美团） ； Fudan University（复旦大学） ； Tongji University（同济大学） ； The Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 EvoCUA通过可扩展的合成经验学习进化计算机使用代理，实现更高性能和通用性。

Comments 26 pages, 8 figures

Conservative Bias in Multi-Teacher Learning: Why Agents Prefer Low-Reward Advisors

多教师学习中的保守偏见：为什么智能体更偏好低奖励顾问

Maher Mesto, Francisco Cruz

机构 * School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院） ； Escuela de Ingeniería, Universidad Central de Chile（智利中央大学工程学院） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 本文揭示了多教师学习中智能体偏好保守低奖励顾问的现象，发现其受保守偏见主导，并在特定阈值下失效，同时在概念漂移情况下显著优于基线Q学习。

Comments 10 pages, 5 figures. Accepted at ACRA 2025 (Australasian Conference on Robotics and Automation)

IndoorUAV: Benchmarking Vision-Language UAV Navigation in Continuous Indoor Environments

IndoorUAV：在连续室内环境中进行视觉-语言无人机导航的基准测试

Xu Liu, Yu Liu, Hanshuo Qiu, Yang Qirong, Zhouhui Lian

专题命中 GUI与网页智能体 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 IndoorUAV通过构建室内无人机视觉-语言导航基准，结合多模态推理和任务分解，为长视距和短视距导航提供高质量数据与模型支持。

A Survey on Improving Human Robot Collaboration through Vision-and-Language Navigation

通过视觉-语言导航提升人机协作的综述

Nivedan Yakolli, Avinash Gautam, Abhijit Das, Yuankai Qi, Virendra Singh Shekhawat

机构 * Birla Institute of Technology and Science (BITS)（比拉理工学院和科学学院） ； Macquarie University（麦考瑞大学） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文综述了视觉-语言导航在提升人机协作中的最新进展，探讨了多机器人协作中的关键挑战，并提出通过先进NLU技术实现主动澄清和动态角色分配的未来方向。

MEGA-GUI: Multi-stage Enhanced Grounding Agents for GUI Elements

SeokJoo Kwak, Jihoon Kim, Boyoun Kim, Jung Jae Yoon, Wooseok Jang, Jeonghoon Hong, Jaeho Yang, Yeong-Dae Kwon

机构 * Samsung SDS（三星SDS） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

Comments 26 pages, 7 figures. Code available at https://github.com/samsungsds-research-papers/mega-gui

Promoting Sustainable Web Agents: Benchmarking and Estimating Energy Consumption through Empirical and Theoretical Analysis

Lars Krupp, Daniel Geißler, Vishal Banwari, Paul Lukowicz, Jakob Karolus

专题命中 GUI与网页智能体 ：agent(abstract)；agentic(abstract)；分类 cs.AI

Comments Accepted by AAAI 2026 AISI

LLM-Guided Scenario-based GUI Testing

Shengcheng Yu, Yuchen Ling, Chunrong Fang, Quan Zhou, Yi Zhao, Chunyang Chen, Shaomin Zhu, Zhenyu Chen

专题命中 GUI与网页智能体 ：agent(abstract)；multi-agent(abstract)；分类 cs.SE

Scaling Synthetic Task Generation for Agents via Exploration

Ram Ramrakhya, Andrew Szot, Omar Attia, Yuhao Yang, Anh Nguyen, Bogdan Mazoure, Zhe Gan, Harsh Agrawal, Alexander Toshev

机构 * Apple（苹果公司） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；agentic(abstract)；分类 cs.AI

Towards Test Generation from Task Description for Mobile Testing with Multi-modal Reasoning

Hieu Huynh, Hai Phung, Hao Pham, Tien N. Nguyen, Vu Nguyen

专题命中 GUI与网页智能体 ：agent(abstract)；multi-agent(abstract)；分类 cs.SE

Comments Change the method and experimentation

AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents

Yuxiang Chai, Siyuan Huang, Yazhe Niu, Han Xiao, Liang Liu, Dingyu Zhang, Shuai Ren, Hongsheng Li

机构 * SJTU（上海交通大学） ； vivo AI Lab（vivo人工智能实验室） 纠错

专题命中 GUI与网页智能体 ：agent(abstract)；AI agent(abstract)；分类 cs.AI